Tag-URL vom Googlebot-Crawling ausschließen

[FONT=&quot]Hallo. Wenn ich eine Site-Abfrage mache. Dann erscheinen meine ca. 200 Artikel/ Seiten. Aber auch all meine wahnsinnig viele Schlagwörter, die ich mittlerweile bei den Artikeln eingegeben habe. Jedes Schlagwort hat eine URL. Im Moment sind es ca. 1100 Schlagwort-Tags. An und für sich würde mich das nicht stören.

Aber: seit neustem erhalte ich in den Google-Webmastertools Fehlermeldungen 503. Serverfehler. Es könnte doch sein, dass meine (unnötigen) Schlagwort-URLs Google so lange beschäftigen. Dass die Zeit nicht ausreicht, um all meine Artikel zu crawlen.

Deshalb meine Frage:
Mit welchem Code auf dem Server kann man Google anweisen, meine Schlagwort-URLs zu ignorieren. Also nicht zu crawlen. Irgendwo habe ich diesen Code im Internet schon mal gesehen. Aber ich finde ihn nicht mehr. Er wird dann wohl in die robots.txt rein kommen. Hat jemand eine Ahnung, welchen Code man nehmen muss? Vielen Dank!

[/FONT]

Zitat von Gerd-E.

Hi LpapillonM,

ich steuere die Indexierung mittels des Plugins wpSEO, andere SEO Plugins können das auch.

Es geht natürlich auch, wie hier von Monika beschrieben > http://www.texto.de/noindex-geziel…verwenden-1221/

Über die robots.txt sollte es mit

Disallow: /tag/

gehen.

[FONT=&quot]Hallo,
vielen Dank für deine Antwort.
Ich benutze das Plugin All in One Seo Pack. Ganz unten stehen folgend Optionen. Die ich aber noch nie benutzt habe:
Robots Meta Noindex, Robots Meta Nofollow, Robots Meta NOODP, Robots Meta NOYDIR, Disable on this page/post.

Wie heißt der Befehl in deinem SEO-Plugin, den du benutzt.
Ich könnte mir vorstellen: Robots Meta Noindex.
Die Frage ist nur: Was da genau auf No-Index gesetzt wird.

Meta-Daten sind schließlich Titel, Description und Keywords.
Die möchte man ja nicht unbedingt auf Noindex haben.
Ansonsten sehe ich bei meinem All in One Seo Pack nichts.

[/FONT]

Ich will Google nur von meinen Schlagwörtern ausschließen. Von sonst nichts. Ich habe ca. 200 Seiten/ Artikel. Und dazu bei der Site-Abfrage ca. 1.000 URLs mit Schlagworten. Meine Seite ist noch nicht groß, das stimmt. Aber ich bekomme neuerdings in den GWT 503-Fehlermeldungen. Natürlich kann das alle möglichen Ursachen haben. Mein erster Gedanke war: Google hat mit den 1.000 Tag-URLs soviel zu tun, dass die Zeit knapp wird, all meine Artikel zu crawlen. Wenn ich die Site-Abfrage für meine Konkurrenzseiten mache: Dort sieht man keine URLs mit Schlagworten.

Zitat von Gerd-E.

Hi LpapillonM,

ich steuere die Indexierung mittels des Plugins wpSEO, andere SEO Plugins können das auch.

Es geht natürlich auch, wie hier von Monika beschrieben > http://www.texto.de/noindex-geziel…verwenden-1221/

Über die robots.txt sollte es mit

Disallow: /tag/

gehen.

Bist du sicher, dass mit disallow:/tag/ verhindert wird, dass für meine Schlagworte URLs angelegt werden? Nicht, dass man damit die Meta-Tags (Description usw) ausschließt.

Wo wir gerade beim Thema robots.txt sind. Ich habe sehr widersprüchliche Aussagen gelesen, wo die genau liegen soll auf dem Server. Die einen sagen: dort, wo die Domain liegt. Das wäre bei mir der Ordner "Wordpress". Die anderen sagen: im Root-Verzeichnis: das wäre eine Ebene oberhalb des Ordners "Wordpress". Es kann doch nur eins von beiden stimmen. Vielleicht weisst du ja Bescheid?

Zitat von Putzlowitsch

Die robots.txt-Datei muß da liegen, wo sich die Wurzel der Domain befindet. Sei muß mit http://example.com/robots.txt abrufbar sein und nicht mit http://example.com/wordpress/robots.txt oder sonst einem anderen Unterverzeichnis.

Wenn Dein WP in einem Ordner /wordpress/ liegt und auch so aufgerufen wird, müßt der Eintrag in der robots.txt natürlich auch entsprechend das Verzeichnis /wordpress/ enthalten, also:

Code

Disallow: /wordpress/tag/

Gruß
Ingo

Doch Ingo! Ich habe noch einen!
Leuchtet mir alles ein, was du sagst. Aber wie erkenne ich, wo genau meine Domain liegt. Wenn es scheinbar 2 Möglichkeiten gibt: Ordner Wordpress oder oberstes Root-Verzeichnis des Servers. An welchem Ordner oder an welcher Datei sehe ich, wo meine Domain liegt. Für mich ist das alles sehr verwirrend, weil die einen so schreiben, die anderen anders.