robots.txt blockiert URLs ???

hi
also ich denke dass es nicht schlimm ist, da es ja eine datei aus deinem Backend ist. Sprich: diese soll ja sowieso nicht von google gefunden werden. tinymce ist ja deine Erweiterung im Text-Editor..
wenn es nur diese Datei ist dann kein Problem :)

Hallo FRF,

was ein gif in der Sitemap zu suchen hat, ist für mich nicht nachvollziehbar. Und dann hast du es noch in der robots.txt blockiert.

Beide Dateien liegen auf deinem Server. Du könntest nun leicht nachsehen;-)

Für uns ist das nicht möglich, da du uns keinen Link zu deiner Seite gezeigt hast.

Von der Meldung würde ich mich nicht beeindrucken lassen :-?

Es gibt Plugins, die den TinyMCE als Editor für Kommentare auf die Seite holen. Dann sind die Sachen (z.B. Symbole) natürlich auch für Google "sichtbar". Allwerdings gehört sowas tatsächlich nicht in die Sitemap, da wird wohl das Sitemap-Plugin über das Ziel hinausschießen (oder so).

Gruß
Ingo

Ja, so eine Fern- oder besser Blind-Diagnose ist nicht einfach.

Und die xxx.de ist bestimmt nicht die Seite, um die es geht ;-)

Ich sehe im Wesentlichen zwei Optionen.

1. Die Sperre für /wp-includes aus der robots.txt entfernen
2. Im Sitemap-Plugin alle Dateien aus /wp-includes ausschließen, so daß sie nicht mehr in die Sitemap aufgenommen werden. Es sollte eine Option dafür geben.

Gruß
Ingo

zu 1.:
Die robots.txt-Datei wird ggf. virtuell von Wordpress erzeugt, sofern es keine entsprechende Datei im Dateisystem gibt. Du kannst aber selbst eine robots.txt anlegen und in das Wurzelverzeichnis der Domain kopieren. Damit wird die von Wordpress außer Kraft gesetzt.

Im einfachsten Fall sieht die so aus:

User-agent: *
Disallow:

Damit erlaubst Du jedem Bot alles.

zu 2.:
Das Plugin kenne ich nicht. Ich habe nur vermutet, daß es da eine passende Option gibt. Anders gesagt, wenn ich so ein Plugin schreiben würde, tät ich wohl so eine Option vorsehen.

Gruß
Ingo

Zitat von FRF

...
Damit sollte das Verzeichnis wp-includes eigentlich ausgeschlossen sein. ...

Das ist ja genau das Problem. Du verbietest allen Bots den Zugriff auf /wp-includes, hast aber in der Sitemap einen Eintrag, der genau dort hin zeigt (dieses GIF vom TinyMCE). Und das meckert Google halt an.

Wenn Du eine Datei genau mit dem Inhalt erstellst, wird eben diese von den Bots gelesen. Das ändert aber nichts an den Anweisungen für die Bots.

Um den Bots den Zugriff auf /wp-includes zu erlauben, könnte die Datei so aussehen:

User-agent: *
Disallow: /wp-includes/
Sitemap: http://example.com/sitemap.xml

Damit verbietest Du nur den Zugriff auf /wp-admin und hast den Verweis auf die Sitemap drin.

Das große Rätsel ist aber immer noch, wie die GIF-Datei in die Sitemap gelangt. Da müßtest Du eigentlich ansetzen.

Gruß
Ingo

Zitat von FRF

...
Wenn ich den bots den Zugriff erlaube, dann würde es ja mit dem Eintrag des Pfads in der Sitemap (auch die ist in der robots.txt korrekt angegeben !) nicht mehr kollidieren, oder ?
...

Na genau das willst Du doch erreichen, daß der Widerspruch "robots.txt verbietet" und "Verweis in der Sitemap" aufgelöst wird (damit sich Google nicht beschwert).

Ein Weg zur Auflösung des Widerspruchs ist halt, daß Du den Bots den Zugriff auf /wp-includes erlaubst. Das muß man nicht explizit mit Allow machen, es reicht, wenn das Verbot entfernt wird. Implizit ist alles erlaubt, was nicht verboten ist.

Der andere Weg wäre halt, den Grund zu finden, warum diese GIF-Datei überhaupt in der Sitemap erscheint. Normal ist das jedenfalls nicht. Wenn Du den Grund gefunden hast, kannst Du das dann hoffentlich abstellen. Dann kannst Du die Sperre in der robots.txt auch drin lassen.

Ich würde Weg zwei vorziehen, weil er die eigentliche Ursache des Problems anpackt.

Gruß
Ingo