robots.txt
Ich habe folgende Info:
Ein Problem, womit viele Webmaster zu kämpfen haben, ist wenn SSL installiert ist und die Seiten über HTTP und HTTPS erreichbar sind. Hier benötigt man zwei getrennte Versionen des Dokuments. Jeweils eine, die unter http://www.domain.de/robots.txt und unter https://www.domain.de/robots.txt abgelegt ist.
Nun die Frage:
Wie sind die beiden robots.txt Dateien praktisch voneinander zu trennen? Ich habe trotz https nur ein Server Verzeichnis für die Dateien der Webseite.
-----------------------
2. Teil
Das Ausschließen von Verzeichnissen von der Indexierung wird nicht von jedem BOT akzeptiert.
Wird der Googlebot und alle anderen Bots diese Funktion auch dann unterstützen, wenn der Befehl den BOT nicht direkt anspricht und der Befehl in der robots.txt nicht:
User-Agent: Googlebot
Disallow: /verzeichnis*/
sondern:
User-Agent: *
Disallow: /verzeichnis*/
lautet?