Robots.txt wird nicht aktualisiert?!

  • Heeeeeeey,
    ich habe folgendes Problem und fand bisher keine Lösung:

    In der G.Search Console wird mir angezeigt, dass einige Seiten über die robots.txt blockiert sind.
    Die aktuelle Datei sieht so aus:

    HTML
    User-agent: *Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
      Sitemap: http://produkttest-guru.de/sitemap_index.xml

    Sollte meiner Meinung nach in Ordnung sein und nicht dazu führen, dass Seiten von der Indexierung ausgeschlossen werden.
    Nun dachte ich mir, mache ich einfach mal ein paar Änderungen an der Robots.txt, um zu schauen was passiert.

    Ich habe die Datei robots.txt über ftp bearbeitet und folgendes eingefügt:

    HTML
    User-agent: *
    disallow: /wp-admin
    disallow: /wp-includes
    disallow: /wp-content
    allow: /wp-content/uploads
    allow: /wp-content/themes
    allow: /wp-content/cache
     
    Sitemap: http://produkttest-guru.de/sitemap_index.xml

    Ruft man nun http://produkttest-guru.de/robots.txt auf, wird noch die alte angezeigt. Lösche ich die Datei vom FTP, wird die alte angezeigt. Bearbeite ich die Robots.txt über das SEO Plugin Yoast > Werkzeuge, wird die alte angezeigt.


    Ich benutze das Theme > RT-Theme 18
    Wordpress ist die aktuellste Version. Habe grad nochmal die Wp-admin und wp-includes aktualisiert.


    Wo liegt nun diese veraltete Datei? (Im Cache? Habe ich gelöscht und das Plugin auch vorübergehend deaktiviert.)
    Und ist die aktuelle "alte" Robots.txt überhaupt so falsch, dass wirklich Seiten von der Indexierung ausgeschlossen werden?


    Ich hoffe mir kann jemand weiterhelfen und bin für jede konstruktive Antwort dankbar!

    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!