Googlebot greift auf unsinnige URLs zu

  • Tach zusammen,

    ich habe in meinen Logs Sonderbares gefunden. :confused:

    Code
    66.249.72.180 - - [12/Dec/2007:02:26:43 +0100] "GET /qkwglcawns.html HTTP/1.1" 404 1038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.72.180 - - [13/Dec/2007:05:01:35 +0100] "GET /dsnjnlleolztx.html HTTP/1.1" 404 1038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.72.180 - - [15/Dec/2007:06:19:44 +0100] "GET /yzmudogotjmzap.html HTTP/1.1" 404 1038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.72.180 - - [16/Dec/2007:07:41:49 +0100] "GET /wwwufbwrcgiaz.html HTTP/1.1" 404 1038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

    Ich habe Xenu Link Sleuth drüberlaufen lassen und finde keine Links, die zu diesen Seiten führen sollen. Ein Referrer ist beim Zugriff auch nicht angeben.

    Interessant ist auch, dass bei drei dieser vier Zugriffe unmittelbar zuvor die leere robots.txt abgefragt wurde.

    Kann mir bitte mal jemand erklären, die der Googlebot auf die blöde Idee kommt, diese komischen Dateinamen anzufordern? Das Ergebnis sind natürlich HTTP404, da diese Seiten nicht existieren.

    Das geht jetzt schon seit knapp einem Jahr so. Bei Bedarf kann ich alle diese Zugriffe zur Verfügung stellen.

    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

  • Ich hab letztens mal über den Yahoobot gelesen, dass der das absichtlich macht, um zu sehen, wie Seiten mit 404-Fehlern umgehen. Es gibt ja diese nervigen Seiten, die jede Eingabe akzeptieren und daraus eine Seite generieren mit wenig bis keinem Bezug zur Eingabe, dafür aber mit viel Werbung drauf. Um solche Spam-Seiten besser zu erkennen, versucht der Yahoo-Bot, mit einer definitiv falschen URL herauszufinden, ob eine bestimmte Website einen 404 zurückschickt. Habe leider keinen Link parat, könnte mir aber vorstellen, dass es sich bei deinen Aufrufen vom Googlebot um die gleiche Sache handelt.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!