robots.txt wird von WordPress überschrieben

    Habe folgendes Problem: beim direkten Aufruf meiner robots.txt über den Browser, bekomme ich einen anderen Inhalt angezeigt (s. unten). Ich habe keine Ahnung, an was das liegt. Ich vermute jetzt mal es könnte an einem Plugin liegen. Ansonsten bin ich ehrlich gesagt ziemlich ratlos. Ich weiß nur, dass die robots.txt nicht unbedingt gesund aussieht.

    Ich hoffe ihr könnt mir weiterhelfen.

    Folgende Plugins sind installiert:

    • Akismet
    • Bad Behavior
    • Dean's Permalink Migration
    • Google XML Sitemaps
    • HeadSpace2
    • Redirection
    • Robots Meta
    • SEO Friendly Images
    • SEO Slugs
    • Yoast Breadcrumbs


    Tatsächlicher Inhalt der robots.txt:

    Inhalt der robots.txt bei direktem Aufruf über den Browser:

    Zitat


    User-agent: *
    Disallow:

    Sitemap: http://www.domain.de/sitemap.xml.gz

    • Gerade eben
    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

    Das ist komisch, da wie gesagt eine robots.txt vorliegt.

    "Ungesund" ist, dass jetzt alles öffentlich "zugänglich" ist. (ich weiß, dass der Ausschluss via robots.txt kein Schutz für sensible Daten ist, gewisse Ordner sollen nur einfach nicht vom Robot besucht werden).

    Okay, ich hab den Fehler jetzt gefunden.
    Ich habe WordPress in einem Unterverzeichnis installiert, die index.php befindet sich jedoch im Hauptverzeichnis. Ich bin davon ausgegangen, dass die robots.txt ebenfalls im Hauptverzeichnis liegen muss. Habe die Datei jetzt ins Unterverzeichnis kopiert. Jetzt wird mir der korrekte Inhalt angezeigt.

    Hallo,
    Ich habe ein ähnliches Problem mit der virtuellen robots,txt.

    Habe eine physische robots.txt im Wurzelverzeichnis liegen, die auch angezeigt wird wenn man sie aufruft.
    Suchmaschinen bekommen aber eine virtuelle robots.txt angezeigt und indexieren diese!

    Url: http://www.vinums.com

    Google Suche : nur "vinums" Siehe Cache

    d.h. die konplette Seite ist nicht mehr im Index, da bei der robots.txt Schluss ist!

    Hat jemand eine Idee?

    nun ja schauen wir uns mal deine Startseite im Quelltext an:
    <meta name="robots" content="index, nofollow" />

    das sagt google. startseite indexieren aber links nicht verfolgen. das ist schonmal nicht so das wahre. und das google eine andere robots.txt zu gesicht bekommt wie du kann eigentlich nicht sein?!

    dann schauen wir uns mal eine seite an hier zum beispiel:

    http://www.vinums.com/weine/wines/
    http://www.vinums.com/lemberger/

    <meta name="robots" content="noindex,follow" />

    das sagt google das sie die seite nicht indexieren soll.

    und bevor du jetzt sagt, stimmt nicht ich hab die alle auf index. richtig hast du, aber weiter unten im code steht der mist nochmal drin und zwar vom plugin "robots meta" und google hällt sich an die.

    Ja das ist richtig und bei bei
    http://www.vinums.com/weine/wines/
    auch so gewollt, da Kategorieseite, ansonsten ein bisschen zuviel "robots" Einträge, sollte man korrigieren.
    Was mich aber stutzig macht ist, dass Google die Startseite, obwohl ja "index, nofollow" nicht indiziert und stattdessen die virtuelle robots.txt von WP anzeigt!

    ja wie gesagt diese doppelten einträge sind auf allen seiten, solltest auf jedenfall korrigieren. warum die robots.txt überhaupt indexiert wird ist mir auch ein rätsel das hab ich noch nie gesehen. kann natürlich auch n ganz dummes zusammenspiel gewesen sein, das irgendwie der server mal gesponnen hat und die virtuelle robots.txt irgendwie als content dargestellt wurde.

    Vielleicht am Server. Aber ich werde das ungute Gefühl nicht los, das die neue WP Version> 2.8 die virtuelle robots.txt mit irgendeinem Header ausliefert.
    Denn, wenn Du die mal
    http://www.vinums.com/lemberger/

    anschaust, so merkt man das der media bot von Google nicht indiziert, da er nur Werbung über die robots.txt schaltet und nicht über den Content der Seite.

    Ich glaube ich muss komplett neu installieren
    Danke soweit

    ich würd erstmal den ganzen selbst in die header gepackten code rausnehmen. da ist einfach viel zu viel doppelt gemoppelt.

    dann deine robots.txt ... warum verbietest du google zum beispiel deine sitemap.xml? (die ja eh nicht zu existieren scheint)
    Disallow: /sitemap.xml

    ach ja und User-agent: * sollte am anfang der robots.txt stehen. da es sonst unter umständen vorherige einträge wieder aufhebt.

    und mach bei User-agent: Mediapartners-Google* das sternchen weg.

    Melde dich am besten mal bei den google webmastertools an.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden