moin,
bräuchte mal ne richtige robots.txt.
was nicht indiziert werden soll sind ..
register.php
der feed
login.php
habe untenstehende robots genutzt aber plötlich ist nur noch die startseite bei google im index.
solche schwankungen gibts ja manchmal gerade bei neuen sites & wenn die unterschiedlichen DCs nicht synchonisiert sind.
möchte llerdings nen groben schnitzer ausschliessen.
Also: ist diese robots richtig?
User-agent: Googlebot
Disallow: /wp-feed.php
Disallow: /wp-register.php
Disallow: /wp-login.php
User-agent: *
Disallow: /wp-feed.php
Disallow: /wp-register.php
Disallow: /wp-login.php
