Beiträge von Benboom91

  • Robots.txt wird nicht aktualisiert?!

    Heeeeeeey,
    ich habe folgendes Problem und fand bisher keine Lösung:

    In der G.Search Console wird mir angezeigt, dass einige Seiten über die robots.txt blockiert sind.
    Die aktuelle Datei sieht so aus:

    HTML
    User-agent: *Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
  Sitemap: http://produkttest-guru.de/sitemap_index.xml

    Sollte meiner Meinung nach in Ordnung sein und nicht dazu führen, dass Seiten von der Indexierung ausgeschlossen werden.
    Nun dachte ich mir, mache ich einfach mal ein paar Änderungen an der Robots.txt, um zu schauen was passiert.

    Ich habe die Datei robots.txt über ftp bearbeitet und folgendes eingefügt:

    HTML
    User-agent: *
disallow: /wp-admin
disallow: /wp-includes
disallow: /wp-content
allow: /wp-content/uploads
allow: /wp-content/themes
allow: /wp-content/cache
 
Sitemap: http://produkttest-guru.de/sitemap_index.xml

    Ruft man nun http://produkttest-guru.de/robots.txt auf, wird noch die alte angezeigt. Lösche ich die Datei vom FTP, wird die alte angezeigt. Bearbeite ich die Robots.txt über das SEO Plugin Yoast > Werkzeuge, wird die alte angezeigt.


    Ich benutze das Theme > RT-Theme 18
    Wordpress ist die aktuellste Version. Habe grad nochmal die Wp-admin und wp-includes aktualisiert.


    Wo liegt nun diese veraltete Datei? (Im Cache? Habe ich gelöscht und das Plugin auch vorübergehend deaktiviert.)
    Und ist die aktuelle "alte" Robots.txt überhaupt so falsch, dass wirklich Seiten von der Indexierung ausgeschlossen werden?


    Ich hoffe mir kann jemand weiterhelfen und bin für jede konstruktive Antwort dankbar!