Robots.txt korrekter Aufbau

Zitat von HelpMe_wp

---
Sitemap: http://www.http://celeritas.li/sitemap.xml
Sitemap: https://www.http://celeritas.li/sitemap.xml
Sitemap: http://http://celeritas.li/sitemap.xml
Sitemap: https://http://celeritas.li/sitemap.xml

Gehe ich die URL der sitemap manuell ein im Browser, kann ich die sitemap anschauen.

Verwende einen richtigen Browser. Du hast nicht eine wirkliche URL hier veröffentlicht

Sitemap: http://www.http://
Sitemap: https://www.http://
Sitemap: http://http://
Sitemap: https://http://

^- was soll das doppelte http bedeuten?

Aufbau einer gültigen URL kannst du bei Wikipeadi nachlesen

https://de.wikipedia.org/wiki/Uniform_Resource_Locator

Zitat von HelpMe_wp

Ist sonst mein Aufbau des robots.txt ok

nein... eigentlich nicht.

Bei der Seitemap gibt man die richtige URL an und keinen Auszug.

Sitemap: https://example.de/sitemap.xml

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /trackback
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /wp-trackback.php

Danach verbietet man einigen Bots den Zugriff
User-agent: SurveyBot
Disallow: /

usw..

Danach erlaubt man explizit die Medien.

Allow: /wp-content/uploads

---

Zitat von HelpMe_wp

Allow: robots.txt
Allow: index.php

beide Anweisungen sind in der robots sinnfrei.

den Rest musst du dir selber suchen - ich bin für ein offenes web.

https://developers.google.com/search/reference/robots_txt?hl=de

Google hat im letzten Jahr verkündet das der Robots Text nicht mehr beachtet wird:
searchenginejournal.com/google-robots-txt-noindex/314961/

Zitat von maxe

es werden lediglich einige Anweisungen in der robots.txt nicht mehr unterstützt, z.B.
Noindex
Nofollow

Zu Deutsch Google greift jetzt Links ohne ende ab, auch wenn der Website Admin das für einige Seiten nicht will. Die müssen es ja echt nötig haben. :rolleyes:

Zitat von "Marcus[IS

, post: 802528, member: 25287"]Zu Deutsch Google greift jetzt Links ohne ende ab, auch wenn der Website Admin das für einige Seiten nicht will. Die müssen es ja echt nötig haben. :rolleyes:

Nööö, Disallow funktioniert ja immer noch. "NoIndex" gehört gar nicht zum "Robots exclusion standard" und war ohnehin nur eine Google-Erfindung.

Gruß
Ingo

Zitat von "Marcus[IS

, post: 802528, member: 25287"]Zu Deutsch Google greift jetzt Links ohne ende ab, auch wenn der Website Admin das für einige Seiten nicht will. Die müssen es ja echt nötig haben. :rolleyes:

Jupp hier ein paar Klagen: https://support.google.com/webmasters/thread/27989233?hl=en

Wer sich mal die Mühe machen würde nach google ignores robots text in der Suchmachine seiner Wahl sieht mit eigenen Augen das Google nicht nur einen Feature ignoriert.

Zitat von arnego2

Jupp hier ein paar Klagen: https://support.google.com/webmasters/thread/27989233?hl=en

Die Antworten hast Du aber nicht gelesen, oder? :-)

Ich hatte früher auch mal gedacht, das der Google-Bot Einträge in der robots.txt ignoriert. Letzendlich stellte sich aber heraus, das ich da einfach ein paar Fehler drin hatte bzw. von falschen Annahmen ausgegangen war.

Gruß
Ingo

Du meinst das es falsche Google Spider waren?
Raus ist das ja nicht. Ist möglich, nur meine Erfahrungen besagen das Google eigentlich alles Indexed was verlinkt ist.
So sagte Google es auch schon einmal, allerdings in einem anderen Zusammenhang.

Zitat von arnego2

Du meinst das es falsche Google Spider waren?

Auch, aber es gab auch Probleme weil die Groß-/Kleinschreibung nicht berücksichtigt wurde.

Zitat von arnego2

Ist möglich, nur meine Erfahrungen besagen das Google eigentlich alles Indexed was verlinkt ist.

Ja, das sagt Google selber, daß man mit der robots.txt nicht die Indexierung, sondern nur das Crawling steuern kann.
Aber alles was syntaktisch korrekt für den Google-Bot in der robots.txt gesperrt ist, wird vom Google-Bot nicht "angefaßt". So zumindet meine Erfahrung.

Gruß
Ingo