Zitat von MaZeAlfred
Die robots.txt ist schon deshalb wichtig, weil der Googlebot sonst ständig eine Fehlerseite 404 in den Logs meldet.
Die einfachste robots.txt ist eine leere Textdatei mit 0 Bytes.
Einfach in einem Editor eine leere Datei unter dem Namen robots.txt speichern und dann ab damit.
Das ist schon klar, allerdings möchte ich keine leer Datein einfügen. Man kann der robots.txt auch Kommandos für Suchmaschinen geben. Kennt sich da einer aus ?
Ein Beispiel einer anderen robots.txt:
-----------------------------------------------------
# robots.txt for http://www.xyz.de/
# file created: 04.06.2002
User-agent: *
# Disallow: /cgi-bin/ # exclude robots from specified tree
# Disallow: /scripts/
Hier steht ein Text
hier, stehen, keywords
# file modified: 23.12.2002
Hier steht ein Text
hier, stehen, keywords
# file modified: 23.12.2002
Hier steht ein Text
hier, stehen, keywords
# file modified: 07.08.2003
Hier steht ein Text
hier, stehen, keywords
-----------------------------------------------------
Was hat denn das im einzelnen zu bedeuten ?
Gruß Alfred