Heeeeeeey,
ich habe folgendes Problem und fand bisher keine Lösung:
In der G.Search Console wird mir angezeigt, dass einige Seiten über die robots.txt blockiert sind.
Die aktuelle Datei sieht so aus:
User-agent: *Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Sitemap: http://produkttest-guru.de/sitemap_index.xml
Sollte meiner Meinung nach in Ordnung sein und nicht dazu führen, dass Seiten von der Indexierung ausgeschlossen werden.
Nun dachte ich mir, mache ich einfach mal ein paar Änderungen an der Robots.txt, um zu schauen was passiert.
Ich habe die Datei robots.txt über ftp bearbeitet und folgendes eingefügt:
User-agent: *
disallow: /wp-admin
disallow: /wp-includes
disallow: /wp-content
allow: /wp-content/uploads
allow: /wp-content/themes
allow: /wp-content/cache
Sitemap: http://produkttest-guru.de/sitemap_index.xml
Ruft man nun http://produkttest-guru.de/robots.txt auf, wird noch die alte angezeigt. Lösche ich die Datei vom FTP, wird die alte angezeigt. Bearbeite ich die Robots.txt über das SEO Plugin Yoast > Werkzeuge, wird die alte angezeigt.
Ich benutze das Theme > RT-Theme 18
Wordpress ist die aktuellste Version. Habe grad nochmal die Wp-admin und wp-includes aktualisiert.
Wo liegt nun diese veraltete Datei? (Im Cache? Habe ich gelöscht und das Plugin auch vorübergehend deaktiviert.)
Und ist die aktuelle "alte" Robots.txt überhaupt so falsch, dass wirklich Seiten von der Indexierung ausgeschlossen werden?
Ich hoffe mir kann jemand weiterhelfen und bin für jede konstruktive Antwort dankbar!