weil ich keine Bildersuche bei allen Sumas brauche,
Dann solltest Du die Sumas gezielt ansprechen, denn nur bei den großen Sumas kannst Du Dir sicher sein, dass diese eine robots.txt zur Kenntnis nehmen.
Bevor Du eine Liste übernimmst, überlege, welche Seiten befinden sich in einem Verzeichnis wie
Disallow: /wp-includes/
die von einer Suchmaschine gecrawlt und in den Index übernommen werden könnten. Und bedenke, eine robots.txt ist nichts weiter als eine Empfehlung, die kein Bot lesen muss. Lediglich die großen halten sich daran, jedoch auch nur dann, wenn die Seiten oder Dateien nicht von extern verlinkt werden.
Wenn eine Seite von extern verlinkt wird, so wird eine Suma diesen Link folgen und diese Seite indizieren. Erst bei einem späteren Besuch wird die robots.txt von der Suma zur Kenntnis genommen, in welcher eben diese Seite möglicherweise von der Indizierung ausgeschlossen wurde. Folge, die URL von der Seite erscheint im Index, jedoch ohne Description. Statt der Description erscheint dann im Index von Google zum Beispiel der Hinweis:
Zitat
Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar. Weitere Informationen
Daraus ergibt sich, was Du wirklich ausschließen möchtest, schließe es bei Seiten über meta name="robots" aus, denn daran kommt eine Suma auch bei einer externen Verlinkung nicht vorbei. So sollte es zumindest sein, nur so richtig sicher scheint das zuweilen ebenfalls nicht zu sein.