Hallo,
auf http://codex.wordpress.org/Search_Engine_…xt_Optimization
empfiehlt WP folgenden Code in der robots.txt:
Code
Sitemap: http://www.example.com/sitemap.xml
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /comments/
Disallow: */trackback/
Disallow: */comments/
Disallow: wp-login.php
Disallow: wp-signup.php
Alles anzeigen
Dass es das Ranking verbessert, wie WP dort behauptet, bezweifle ich stark, aber macht ihr das der Sicherheit und Vermeidung von duplicate content wegen?
Angenommen, ich würde als einzige Ergänzung zur obigen Empfehlung jpg, png und gif im Ordner Uploads aussperren wollen, weil ich keine Bildersuche bei allen Sumas brauche, andere Medien (ebenfalls in "uploads") wie z.B. pdf aber gefunden werden sollen. Wäre dann die folgende Ergänzung ganz unten in der robots.txt richtig:
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
oder gleichwertig:
Disallow: /uploads/*.jpg$
Disallow: /uploads /*.png$
Disallow: /uploads/*.gif$