Hilfe bei Robots.txt

  • Also ich verzweifle langsam. Immer weider kommen bei mir die Trackbacks in den Index...

    Kann mir jemand bei meiner Robots.txt helfen. Die Domain Struktur ist so aufgebaut

    http://www.abakus-internet-marketing.de/outbound.pl?ht…r-ist-der-post/

    ich finde ständing dies URLs im Google Index
    http://www.abakus-internet-marketing.de/outbound.pl?ht…post/trackback/
    http://www.abakus-internet-marketing.de/outbound.pl?ht…-der-post/feed/

    Meine Robots.txt schaut so aus:

    User-agent: *
    Disallow:/wp-admin/
    Disallow:/cgi-bin/
    Disallow:/plugins/
    Disallow:/js/
    Disallow: /wp-register.php
    Disallow: /wp-login.php
    Disallow: /wp-trackback.php
    Disallow:/wp-themes/
    Disallow:/wp-plugins/
    Disallow: /wp-
    Disallow: /search

    Disallow: */trackback$
    Disallow: */trackback/$

    Disallow: */feed$
    Disallow: */feed/$

    Was ist daran falsch?

    Kann sein, dass das index.php in der URL-Struktur stört?

    deshalb habe ich das hier zugefügt
    Disallow: /index.php/*/trackback$
    Disallow: /index.php/*/trackback/$
    Disallow: /index.php/*/feed$

    Im Webmastercentral sagt mir google beim Testen der Robots.txt immer wieder, daß die Trackbacks blockiert sind. Aber ich finde Sie trotzdem im Index

    Danke für die Hilfe
    Disallow: /index.php/*/feed/$

    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

  • Im Webmastercentral sagt mir google beim Testen der Robots.txt immer wieder, daß die Trackbacks blockiert sind. Aber ich finde Sie trotzdem im Index


    Das Problem ist, das die meisten Robots keine "Wildcards" (*, ?) in der robots.txt erlauben. Der Googlebot erlaubt diese aber.

    Sind neue Trackbacks im Index, oder nur alte? Neue sollten ja so eigentlich nicht mehr in den Index gelangen. Google tut sich aber manchmal schwer, bestehende Seiten aus dem Index zu löschen. Du könntest über die Löschkonsole *vorsichtig* die alten Trackbacks aus dem Index entfernen. Aber Vorsicht, bei unvorsichtigem Vorgehen kannst du dir dabei deine gesamte Seite aus dem Index kegeln!

  • Habe es mal eben in den Google Webmaster-Tools getestet:

    URL-Ergebnisse
    URL Googlebot
    http://www.:-D.de/index.php/2008/07/09/hier-ist-der-post/trackback/ [COLOR=red]Blockiert[/COLOR] in Zeile 15: Disallow: */trackback/$

    http://www.:-D.de/index.php/2008/07/09/hier-ist-der-post/feed/ [COLOR=red]Blockiert[/COLOR] in Zeile 18: Disallow: */feed/$
    Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.

    sollte also zumindest bei Google funktionieren.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!