Robotos.txt - Crawling mancher Seiten verhindern

Hi,

1:
Yoast Seo erstellt mir automatisch eine XML Datei, die ich in der Search Engine Console hinterlege. Jedoch möchte ich nicht, dass der Bot einige Links mit in den Index aufnimmt.

zB. domain.com/author-sitemap.xml
domain.com/testimonial-sitemap.xml
domain.com/post-sitemap.xml

Bei den Verzeichnissen gibt es einige Child Seiten und die möchte ich auch nicht zum Crawlen freigeben. Deshalb sieht meine robots.txt wie folgt aus:

User-agent: *
Disallow: /post*/
Disallow: /testimonial*/
Disallow: /author*/

Ist mein Vorgehen so richtig?

2:

Ebenso habe ich auf manchen Seiten (strato.de) gelesen das man Dinge wie:

• Disallow: /wp-admin/
• Disallow: /wp-includes/
• Disallow: /wp-content/plugins/
• Disallow: /wp-content/cache/
• Disallow: /wp-content/themes/

ebenso hineinpacken soll? Könnt ihr das auch teilen?

Zitat von r23

ich denke ja.

ja habe ich auch...

und etwas mehr:

# disallow all files with ? in url
Disallow: /*s=*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.tar$
Disallow: /*.tgz$
Disallow: /*.cgi$
Disallow: /*.xhtml$

Alles anzeigen

Ok, denn eine andere Seite sagt das soll man nicht: http://www.robotstxt.net/wordpress-robotstxt/ scroll zum Seitenende Rote Box.