Also ich habe das noch vor dem Wordpress-Eintrag in einem extra Block angeordnet:
Apache Configuration
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^FAST Crawler
RewriteRule .* - [F,L]
</IfModule>
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
...
Alles anzeigen
Die robots.txt hat er gestern also gelesen.
Außerdem kann ich mir nicht vorstellen, das sich die Abfragen so drastisch auf die Geschwindikeit auswirken sollen, zumal der Crawler zwischen den Abfragen eine Minute Pause einlegt (zumindest bei mir). Das Deine Seite so langsam lädt, dürfte eine andere Ursache haben.
Gruß
Ingo