Hallo,
ich habe ein merkwürdiges Problem: Eine meiner Websites wird von einem Google-Bot ständig gecrawlt. Und ständig heißt wirklich sehr oft, mehrere Stunden am Tag. Dabei gibts dafür keinen Grund, es kommen nur 2 bis 3 mal pro Woche neue Texte.
Pro Tag fallen so 4 bis 6 GB Traffic an, was völlig unnötig ist und den armen Server auch verlangsamt.
Bei Google selber kann man aber nur die Frequenz der Indizierung der einzelnen Seiten einstellen, nicht wie oft der Bot anklopft. Es nutzt also nicht viel, wenn ich das auf z.B. 1 Seite pro Sekunde reduziere.
Kennt jemand das Problem und noch besser eine Lösung dafür? Ich will Google deswegen ja nicht gleich komplett ausschließen.
Crawler crawlt zu oft
-
- Gerade eben
- Anzeige
Hallo!
Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.
- ✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
- ✔️ Deutsche Server & DSGVO-konform
- ✔️ Persönlicher Support (kein 0815-Ticket-System)
-
Kennt jemand das Problem und noch besser eine Lösung dafür? Ich will Google deswegen ja nicht gleich komplett ausschließen.Du kannst dich an Google wenden
Hier der Link
https://support.google.com/webmasters/answer/48620 -
Tipp: Lies mal den Rest der Seite.
-
Aber auf dieser Seite finde ich leider keine Möglichkeit zum Kontakt.
Ich lese mal vor:
Wenn Ihre Crawling-Frequenz als "berechnete Optimalfrequenz" gekennzeichnet ist, kann die Crawling-Frequenz nur verringert werden, wenn Sie einen speziellen Antrag stellen. Die Crawling-Frequenz kann nicht angehoben werden.
klicke einfach auf den Link: einen speziellen Antrag stellen
oder wende dich an das Support Team von Google => Link oben auf der Seite auf: Community...oder lösche das Internet!
-
Hallo,
den Antrag hatte ich gefunden, konnte ihn jedoch nicht abschicken, weil das nur ging, wenn man z.B. die Bot-IPs angeben kann.oder lösche das Internet!
Was willst Du mir damit sagen?
Jetzt mitmachen!
Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!