Um schreiben oder kommentieren zu können, benötigen Sie ein Benutzerkonto.
Sie haben schon ein Benutzerkonto? Melden Sie sich hier an.
Jetzt anmeldenHier können Sie ein neues Benutzerkonto erstellen.
Neues Benutzerkonto erstellen
Hallo!
Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.
Schwer vorstellbar, das dies der Grund gewesen sein soll. Selbst 1000 Zugriffe pro Stunde sollten absolut kein Problem sein.
Bei mir lud sie jetzt.
Hallo,
meine Website tuningblog.eu war gerade seit gut 30min offline. Ein Anruf bei meinem Hoster 1&1 sagte mir das ein Googlebot mit der IP 6624964214 bis gerade eben die Seite heute 15.000 x gecrawlt hat und sie deshalb off war :shock: hat jemand eine Ahnung warum das so ist und was ich dagegen machen kann? :neutral:
VG Thomas
bitte wende dich mit diesem Problem an das Webmasterforum von Google,
wie sollen wir dir bei Googlebot Problemen 100% Antworten geben können, du bist mit dieser Frage dort 100% besser aufgehoben,
und weil es keine WP Frage ist, verschieb ich in die Netzwelten.
(...) das ein Googlebot mit der IP 6624964214 bis gerade eben die Seite heute 15.000 x gecrawlt hat und sie deshalb off war (...)
Dafür könnten Fake Googlebots verantwortlich sein, u.a. mit diesem Plugin
https://de.wordpress.org/plugins/all-in…y-and-firewall/
kannst Du sie etwas besser unter Kontrolle halten, die Einstellungen dazu findest Du damit im Untermenü [COLOR=#0000cd]Firewall[/COLOR]...
Melde dich bei den Webmastertools an und begrenzte dort das crawling.
Die genannte IP gehört zum Googlebot:
http://www.utrace.de/?query=66.249.64.214
(...)
Die genannte IP gehört zum Googlebot:
(...)
Die kann ebensogut von Fakebots bzw. deren Absender gefaked sein...
Die kann ebensogut von Fakebots bzw. deren Absender gefaked sein...
Nur kann über eine gefakte IP-Adresse meines Wissens keine TCP-Verbindung aufgebaut werden, denn der Server schickt sein ACK ja an die gefakte Adresse, in dem Fall Google. Google wird die Antwortpakete einfach verwerfen.
Ohne Verbindung gibt es aber auch keinen HTTP-Request und somit kein "gecrawlt".
Gut, falls sich der Angreifer in die Google-Netzwerk-Infrastruktur gehackt hätte, könnt er schon die Pakete abfangen und antworten, aber ist das realistisch?
Gruß
Ingo
Hast Du bei 1&1 einen Server/vServer oder ist das ein normales Webhosting-Paket?
Im Moment bekomme ich nur ein "500 Internal Server Error".
Die einfache HTML-Seite "liesmich.html" wird jedoch ganz normal angezeigt.
Gruß
Ingo
Nur kann über eine gefakte IP-Adresse meines Wissens keine TCP-Verbindung aufgebaut werden, denn der Server schickt sein ACK ja an die gefakte Adresse, in dem Fall Google. Google wird die Antwortpakete einfach verwerfen.
(...)
Schon richtig, aber wir wissen ja nicht, welche Ziffernfolge von welchem Algorithmus in diesem (evtl. fälschlich) als "IP" gewertet wurde.
Ein kleines erhellendes Experiment dazu, kann jeder mal selbst durchführen, dafür z.B. einfach im Firefox das Add-on Modify Headers installieren, damit eine Phantasiezahl als Header kreieren und dann damit aktiviert http://myip.is/ aufsuchen.
In groß und fett wird bei dieser Vorgehensweise oben der Fakeheader als "IP" erkannt, klein unten in grau aber auch zusätzlich die echte IP des Zugangsproviders.
Das nur, um zu verstehen, was im Prinzip und auch praktisch möglich ist, im realen Einsatzszenario eines Fakebot, kann man da noch viele andere Dinge zurechtfaken, die dann zumindest bei oberflächlicher Betrachtung eben gewollt anders erscheinen, als sie tatsächlich sind...
...
Ein kleines erhellendes Experiment dazu, kann jeder mal selbst durchführen, dafür z.B. einfach im Firefox das Add-on Modify Headers installieren, damit eine Phantasiezahl als Header kreieren und dann damit aktiviert http://myip.is/ aufsuchen.
...
Hmmm, schönes Add-On.
Es ist mir aber nicht gelungen, myip.is eine andere IP vorzugaukeln, als die tatsächliche. Vielleicht setze ich nicht das richtige Header-Feld. Mir sind da nur "X-Forwarded-For" und "Via" eingefallen, die dafür irgendwie funktionieren könnten. Allerdings hat sich z.B. https://www.whatismyip.com/ vom "X-Forwarded-For" täuschen lassen.
Aber egal, im Apache-Log z.B. landet immer die IP-Adresse, mit welcher die Verbindung aufgebaut wurde. Und ernsthafte Netzwerkstools sollten auch nichts auf frei manipulierbare Felder im HTTP-Request-Header geben. Der Klassiker ist ja, einfach als User-Agent den Google-Bot zu verwenden.
Ich hoffe mal, das der technische Support von 1&1 sich nicht durch solche billigen Tricks täuschen läßt. Wissen kann ich es allerdings nicht.
Gruß
Ingo
(...)
Es ist mir aber nicht gelungen, myip.is eine andere IP vorzugaukeln, als die tatsächliche. (...)
(...) Vielleicht setze ich nicht das richtige Header-Feld. Mir sind da nur "X-Forwarded-For" und "Via" eingefallen (...)
x-Forwarded-For und all hat für diesen Fall schon funktioniert.
Aber egal, im Apache-Log z.B. landet immer die IP-Adresse, mit welcher die Verbindung aufgebaut wurde.
Schon richtig, aber wer weiß, welche Tricks da evtl. doch möglich sind, die u.a. ich gar nicht kenne, weil's einerseits nicht gerade mein Fachgebiet ist, aber auch Fachleute auf Ihren Fachgebieten immer mal wieder ihre Dogmen revidieren müssen, weil wer was neues (er)findet.
(...) Ich hoffe mal, das der technische Support von 1&1 sich nicht durch solche billigen Tricks täuschen läßt. (...)
Das nehme ich auch ganz stark an, aber dieses Add-on sollte auch nur als Beispiel dienen, was im Prinzip bereits für jeden möglich ist und Anstoß zu Gedanken geben, dass da evtl. auch andere Wege existieren, die einen in solchen Fällen vielleicht doch auf eine falsche Fährte führen...
...
x-Forwarded-For und all hat für diesen Fall schon funktioniert.
...
Interessant, danke für die Info.
In X-Forwarded-For kommt die Fake-IP-Adresse aber was genau muß ich denn für All eintragen. Den Header-Parameter kenn ich gar nicht.
Nun will ich genau wissen, wie es funktioniert... :-)
Gruß
Ingo
(...)
In X-Forwarded-For kommt die Fake-IP-Adresse aber was genau muß ich denn für All eintragen. (...)
Hier gar nicht, ist mir bei diesem Plugin in den Kommentar gerutscht und gehörte zu was anderem, also nur X-Forwarded-For und die Fake-IP eintragen, dann Add und Doppelklick auf die Zeile im Listenfeld (wenn noch keiner grüner Punkt am Ende steht) zum Aktiviren und das Add-on auf Start...
Ahhh ja, jetzt funktionierts, danke!
Mein Problem war allerdings, daß ich zum Test eine Verbindung genutzt hatte, die über einen echten Proxy läuft. Dieser ist so konfiguriert, daß er alle "X-Forwarded-For"-Header entfernt und auch selbst keinen hinzufügte. Und ich wundere mich, daß bei myip.is nichts ankommt...
Gruß
Ingo
hi Tom hast du schon mal das ausprobiert?
https://wordpress.org/plugins/block-bad-queries/
die Bezahlversion kann das
https://plugin-planet.com/bbq-pro/
(...) sobald ich mittels Plugin (mehrere plugins getestet) das Caching der Seite aktivier dies das totale Chaos zur Folge hat. In dem Moment wo es aktiviert ist wird der Server förmlich "in die Knie gezwungen". (...)
Das ist dann doch eine ganz andere Sache, cachest Du die Inhalte etwa in Form eines Preloads alle auf einmal, das kann bei Shared Hosting (also den üblichen Webspacepaketen) zu Überlastungen beim Webhoster führen und das hat überhaupt nichts mit Google und seinen Bot oder Fakebots zu tun...
Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!
