Loch ist noch offen, hatte in der Robots.txt z. B. Disallow: /?y=u eingetragen, kommen aber immer noch neue Links dazu.
Laut Wiki akzeptieren nicht alle bots die Instruktionen
Zitat von wikiNot all robots comply with the standard; indeed, and robots that scan for security vulnerabilities may very well start with the portions of the website they have been asked (by the Robots Exclusion Protocol) to stay out of.