Folgendes zeigt google bei einem Wordpress Blog an:
Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar.
Hier der Inhalt der robots.txt
Code
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /wp-admin/
User-agent: googlebot
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /index.php
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
User-agent: googlebot-image
Disallow: /wp-includes/
User-agent: mediapartners-google
Disallow: /*?*
Allow: /wp-content/
Allow: /tag/
Allow: /*.php$
Allow: /*.js$
Allow: /*.inc$
Allow: /*.css$
Allow: /*.gz$
Allow: /*.cgi$
Allow: /*.wmv$
Allow: /*.cgi$
Allow: /*.xhtml$
Allow: /*.php*
Allow: /*.gif$
Allow: /*.jpg$
Allow: /*.png$
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /Unter google Webmasters wird auch kein Fehler angezeigt. Woher kommt diese Meldung aber?