FAST Crawler aussperren

    Hallo,

    ich habe ein kleines Problem mit dem FAST Crawler. Immer wenn der meine Website durchforstet, ist die extrem langsam. der hat vorhin irgendwie 700 Seiten durchsucht. Nun will ich ihn sperren, der soll nicht mehr zu mir!

    Ich habe in der robots.txt das hier stehen:

    Code
    User-agent: *
Disallow: */wp-content/upload/*
Disallow: */itemstats/updateitem.php?item=


User-agent: FAST-WebCrawler
Disallow: /*

    So kommt der aber trozdem wieder. Dann dachte ich mir so: Sperrste die IP, mit die er Online ist. Das habe ich dann per .htaccess gemacht. Und zwar so:

    Code
    order allow,deny 
deny from 70.42.xx.xx
allow from all


    geht auch nicht. Hat da jemand ein Tipp? Meine Website ist http://www.wow-blogger.de

    gruß


    • Gerade eben
    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

    kann es sein das in der htaccess ein Fehler ist ?

    Zitat

    order allow,deny
    deny from 70.42
    allow from all

    so sollte es gehen ! aber der Fast Crawler hat doch bestimmt mehere IP Bereiche ? Hab ihn leider in meiner Liste nicht mit der IP 70.42.xxx gefunden

    In der robots.txt sind bei Disallow eigentlich keine Wildcards wie '*' erlaubt.
    Um den Fast Crawler auszusperren sollte folgender Eintrag aureichen:

    Code
    User-agent: FAST Crawler
Disallow: /

    Gruß
    Ingo

    Wenn ich helfen konnte, bitte [ Gefällt mir ] klicken. :-)

    Einmal editiert, zuletzt von Putzlowitsch (21. März 2007 um 14:15)

    Zitat von Putzlowitsch

    In der robots.txt sind bei Disallow eigentlich keine Wildcards wie '*' erlaubt.
    Um den Fast Crawler auszusperren sollte folgender Eintrag aureichen:

    Code
    User-agent: FAST Crawler
Disallow: /

    Gruß
    Ingo


    genau so habe ich es eingefügt und der Hund ist immer noch drauf. Das gleiche hat er gestern auch gemacht zwischen 16 Uhr und 22 Uhr. Da war die website soo langsam. so sieht das jetzt schon aus:

    IP 70.42.51.50
    Host 70.42.51.50
    User-Agent FAST Crawler (crawler at fast.no)
    Seitenaufrufe: 828

    gibt es vielleicht einen anderen namen, den man blocken kann?


    Dein ganz oben geposteter Text sieht aber anders aus, da steht als Browser 'FAST-WebCrawler' und beim Disallow das Sternchen dahinter. Und das würde halt nicht passen.
    Außerdem kannst Du ja mal im Logfile nachgucken, ob und wann der überhaupt die robots.txt abgerufen hat. Das machen die Crawler auch nicht vor jeder Seite, sondern vielleicht nur einmal am Tag.

    Ansonsten könnte man ihn auch noch per mod_rewrite wegdeligieren:

    Apache Configuration
    <IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond    %{HTTP_USER_AGENT}    ^FAST Crawler
RewriteRule    .*    -    [F,L]
</IfModule>

    Gruß
    Ingo

    Wenn ich helfen konnte, bitte [ Gefällt mir ] klicken. :-)

    Zitat von Putzlowitsch

    Dein ganz oben geposteter Text sieht aber anders aus, da steht als Browser 'FAST-WebCrawler' und beim Disallow das Sternchen dahinter. Und das würde halt nicht passen.
    Außerdem kannst Du ja mal im Logfile nachgucken, ob und wann der überhaupt die robots.txt abgerufen hat. Das machen die Crawler auch nicht vor jeder Seite, sondern vielleicht nur einmal am Tag.

    Ansonsten könnte man ihn auch noch per mod_rewrite wegdeligieren:

    Apache Configuration
    <IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond    %{HTTP_USER_AGENT}    ^FAST Crawler
RewriteRule    .*    -    [F,L]
</IfModule>

    Gruß
    Ingo


    die .htaccess müsste so aussehen, oder?


    geht aber nicht. da bekomme ich ein fehler 500 zurück

    Zitat von El-Q

    Ansonsten guter Blog!

    dank dir, wenn er schneller wäre, würde es sogar besser sein :D

    ich guck mal gleich in die Logfiles.

    Hier sind ein paar sachen aus der logfile von gestern:


    70.42.51.50 - - [20/Mar/2007:10:59:52 +0100] "GET /robots.txt HTTP/1.1" 200 90 "-" "FAST Crawler (crawler at fast.no)"
    70.42.51.50 - - [20/Mar/2007:11:00:57 +0100] "GET /2007/03/19/angebliche-patchnotes-zu-210/ HTTP/1.1" 200 64199 "http://www.bloggerei.de/rubrik_15_Computerblogs" "FAST Crawler (crawler at fast.no)"
    70.42.51.50 - - [20/Mar/2007:11:02:58 +0100] "GET / HTTP/1.1" 200 50927 "http://www.bloggerei.de/topliste.php" "FAST Crawler (crawler at fast.no)"
    70.42.51.50 - - [20/Mar/2007:12:18:51 +0100] "GET /uber/links?PHPSESSID=7c0dae9559e1126b88ed063022d89cd9 HTTP/1.1" 200 29796 "http://wow-blogger.de/2007/03/19/ang…chnotes-zu-210/" "FAST Crawler (crawler at fast.no)"


    Einmal editiert, zuletzt von 3x3cut3r (21. März 2007 um 15:03)

    Also ich habe das noch vor dem Wordpress-Eintrag in einem extra Block angeordnet:

    Die robots.txt hat er gestern also gelesen.

    Außerdem kann ich mir nicht vorstellen, das sich die Abfragen so drastisch auf die Geschwindikeit auswirken sollen, zumal der Crawler zwischen den Abfragen eine Minute Pause einlegt (zumindest bei mir). Das Deine Seite so langsam lädt, dürfte eine andere Ursache haben.

    Gruß
    Ingo

    Wenn ich helfen konnte, bitte [ Gefällt mir ] klicken. :-)

    Als der Crawler runterwar von der Seite ging es ja wieder. Ich habe das ein wenig beobachtet. Heute morgen ging sie auch superschnell, als der crawler nicht drauf war.
    Ich habe ja in den letzten tagen nichts an meinem Blog verändert, keine plugins installiert, keine abfragen geändert oder sonstiges.

    Ich finde es einfach irgendwie komisch :/

    hier ist mal die liste, welche urls er aufgerufen hat:

    21.03.2007, 13:56:09 /tag/World_of_Warcraft
    21.03.2007, 13:57:10 /2007/03/20/gefunden-manufac/
    21.03.2007, 13:58:13 /tag/Ace2
    21.03.2007, 13:59:15 /tag/Addon
    21.03.2007, 14:00:19 /tag/Beruf
    21.03.2007, 14:01:22 /tag/Manufac
    21.03.2007, 14:02:25 /2007/03/19/das-wow-stoeckchen/
    21.03.2007, 14:03:31 /tag/Blog
    21.03.2007, 14:04:42 /tag/St%C3%B6ckchen
    21.03.2007, 14:06:10 /2007/03/19/angebliche-patchnotes-zu-210...
    21.03.2007, 14:07:43 /tag/Blizzard
    21.03.2007, 14:08:46 /tag/Patch_2.1.0
    21.03.2007, 14:09:51 /tag/Patchnotes
    21.03.2007, 14:10:53 /2007/03/18/making-of/
    21.03.2007, 14:11:58 /tag/GM
    21.03.2007, 14:13:05 /2007/03/18/b00mkin-ftw/
    21.03.2007, 14:14:11 /tag/Burning_Crusade
    21.03.2007, 14:15:14 /tag/Druiden
    21.03.2007, 14:16:15 /tag/Fun
    21.03.2007, 14:17:25 /tag/Video
    21.03.2007, 14:18:30 /2007/03/18/linksammlung/
    21.03.2007, 14:19:32 /uber/links
    21.03.2007, 14:20:35 /uber/email
    21.03.2007, 14:21:37 /tag/Email
    21.03.2007, 14:22:44 /tag/Link
    21.03.2007, 14:23:46 /2007/03/18/was-sind-krieger/
    21.03.2007, 14:24:48 /tag/Krieger
    21.03.2007, 14:25:49 /tag/WoW_Szene
    21.03.2007, 14:26:53 /2007/03/17/tinytip-fubar_questsfu/
    21.03.2007, 14:28:03 /tag/FuBar
    21.03.2007, 14:29:04 /tag/TinyTip
    21.03.2007, 14:30:06 /2007/03/17/mehr-layouts-fr-ag_unitframe...
    21.03.2007, 14:31:07 /tag/Ag-Unitframes
    21.03.2007, 14:32:09 /tag/Layout
    21.03.2007, 14:33:11 /page/2/
    21.03.2007, 14:34:29 /category/wow-news/
    21.03.2007, 14:35:33 /2007/03/
    21.03.2007, 14:37:03 /2007/02/
    21.03.2007, 14:38:06 /2007/01/
    21.03.2007, 14:39:08 /2006/12/
    21.03.2007, 14:40:44 /2006/11/
    21.03.2007, 14:41:50 /2006/10/
    21.03.2007, 14:43:01 /2006/09/
    21.03.2007, 14:44:10 /2006/08/
    21.03.2007, 14:45:28 /2006/07/
    21.03.2007, 14:46:43 /2006/06/
    21.03.2007, 14:47:56 /2006/05/
    21.03.2007, 14:48:57 /tag/Anleitung
    21.03.2007, 14:49:58 /tag/Firstkill
    21.03.2007, 14:51:02 /tag/Instanz
    21.03.2007, 14:52:05 /tag/Item
    21.03.2007, 14:53:25 /tag/Karazhan
    21.03.2007, 14:54:28 /tag/Level_60
    21.03.2007, 14:55:29 /tag/Patch_112
    21.03.2007, 14:56:32 /tag/Patch_201
    21.03.2007, 14:57:37 /tag/Patchday
    21.03.2007, 14:58:40 /tag/Priester
    21.03.2007, 14:59:46 /tag/PvP
    21.03.2007, 15:00:52 /tag/Quest
    21.03.2007, 15:01:57 /tag/Realm
    21.03.2007, 15:04:47 /tag/Release
    21.03.2007, 15:05:49 /tag/Set
    21.03.2007, 15:06:51 /tag/Talente
    21.03.2007, 15:07:52 /tag/Tipp
    21.03.2007, 15:08:57 /tag/Wartungsarbeiten
    21.03.2007, 15:10:20 /tag/Wordpress
    21.03.2007, 15:11:31 /tag/WoW-Europe


    Einmal editiert, zuletzt von 3x3cut3r (21. März 2007 um 15:17)

    Ich kann übrigens Deine Seite gar nicht aufrufen, da kommt irgendwann ein Timeout. Nur vorhin, als Du das mit dem mod_rewrite drinnen hattest, da kam der 500er Fehler sofort :-)
    Alles schon komisch. Ich würde eher auf ein Plugin tippen, hab aber keine Ahnung was es genau sein könnte. Mich hatte der FAST Crawler vorgestern und gestern auch besucht, ich konnte aber keine Performance-Einbrüche bei mir (also bei meiner Seite) ausmachen.

    Gruß
    Ingo

    Wenn ich helfen konnte, bitte [ Gefällt mir ] klicken. :-)

    hm, auf meine statistik-subdomain komme ich und das script ist im unterordner von Wordpress (stats.wow-blogger.de)

    Ich werd das mal beobachten, wann der Crawler weg ist.

    Gruß


    Ja stats.wow-blogger.de antwortet sofort, nur deine Hauptadresse kommt nicht. Lustigerweise kann ich Deine robots.txt auch sofort aufrufen, die kommt ohne Verzögerung. Auch wenn ich Bilder direkt aufrufe, kommen die sofort. Also scheinbar alles, was direkt vom Apache ausgeliefert wird, geht problemlos. Sobald WP beteiligt ist, geht nix mehr.
    Irgendwas scheint bei Deinem WP zu klemmen.

    Gruß
    Ingo

    Wenn ich helfen konnte, bitte [ Gefällt mir ] klicken. :-)

    Einmal editiert, zuletzt von Putzlowitsch (21. März 2007 um 16:01)

    ich gucke heute abend mal die sachen durch und werd mal das zuletzt installierte Plugin deaktivieren. Das war irgend so ein Ajax bewertungsplugin.

    Gruß


    Hier sind mal meine Plugins:


    [COLOR=blue]Akismet[/COLOR]2.0
    [COLOR=blue]Breadcrumb Navigation XT[/COLOR]1.7
    [COLOR=blue]Chunk Urls for WordPress[/COLOR]2.0
    [COLOR=blue]Comment Count[/COLOR]1.1
    [COLOR=blue]Exec-PHP[/COLOR]3.0
    [COLOR=blue]Feedburner Feed Replacement[/COLOR]2.2
    [COLOR=blue]Follow-URL[/COLOR]1.0
    [COLOR=blue]Google (XML) Sitemaps[/COLOR]3.0b6
    [COLOR=blue]Hello Dolly[/COLOR]1.5
    [COLOR=blue]Aktivieren[/COLOR][COLOR=blue]Itemstats[/COLOR]1.5.1
    [COLOR=blue]Link Indication[/COLOR]3.1
    [COLOR=blue]Live Comment Preview[/COLOR]1.7
    [COLOR=blue]o42-clean-umlauts[/COLOR]0.2.0
    [COLOR=blue]PXS Mail Form (de)[/COLOR]2.8 de
    [COLOR=blue]Redirection[/COLOR]1.3
    [COLOR=blue]Simple Tagging[/COLOR]1.5
    [COLOR=blue]Subscribe To Comments[/COLOR]2.1
    [COLOR=blue]Suchen und Ersetzen[/COLOR]1.3(de)
    [COLOR=blue]Time Zone[/COLOR]2.1
    [COLOR=blue]Update-Monitor[/COLOR]1.3
    [COLOR=blue]WordPress Database Backup[/COLOR]2.0
    [COLOR=blue]WP-AddQuicktag (de)[/COLOR]0.4
    [COLOR=blue]WP-Cron[/COLOR]1.3
    [COLOR=blue]WP-Cron-Mail[/COLOR]1.2
    [COLOR=blue]WP-Cron Dashboard[/COLOR]1.1
    [COLOR=blue]WP-Cron Future Pings[/COLOR]1.2
    [COLOR=blue]WP-Cron UpdateLinks[/COLOR]1.1
    [COLOR=blue]WP-phpMyAdmin[/COLOR]2.8.2
    [COLOR=blue]WP lightbox 2[/COLOR]0.5
    [COLOR=blue]WP Posts/Comments Time[/COLOR]0.2


Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden