alles kla :)
OK, ich hätte vielleicht anders rum anfangen sollen:
1. ich halte nichts von robots.txt
2. ich halte sehr viel vom Grundsatz: Kenntnis nur wenn nötig
Das was robots.txt bezweckt, erreicht es nicht, weil es nirgendwo geschrieben steht, dass Bots sich an die Vorgaben halten; mit anderen Worten, die ganze Geschichte scheitert von Anfang an daran, dass sie unlogisch ist. Und das wird nur noch verschlimmert durch den zweiten Punkt! Es ist ein himmelweiter Unterschied, ob ich (=der bö Fei) nach der Möglichkeit im Trüben fische, ob da eine robots.txt angelegt worden ist, oder ob ich ich schon _weiss_, dass da eine ist. Etwa gleichzusetzen mit der Situation, wo ich den Postboten per Zettel an dem Briefkasten bitte, meinen Lottogewinn doch in der Küche im zweiten Fach links zu deponieren, die Wohnungstür sei nicht abgeschlossen.
Danach hätte ich erwähnen sollen, dass ich Dein robots.txt erst angeschaut habe, als Du auf meine Message so reagiert hast, wie Du es tatest. Und danach ergab sich für mich lediglich eine Frage noch: wozu der Aufwand? Und so schwer hat es mich dann doch nicht beschäftigt, als dass ich die Frage auch wirklich gestellt hätte.
OK, habe ich nicht gemacht, meine Unterlassung, mein Fehler.
Ist jetzt wenigstens alles klar?
LG Domi
