Google Bot blockiert

Hallo,
Deine robots.txt ist so nicht richtig!
User-agent:* bedeutet das alle Suchmaschinen auf Deine Website zugreifen dürfen.
Disallow:/ bedeutet das keine Seiten Deiner Website in den Index der Suchmaschinen aufgenommen werden dürfen.
Die robots.txt muß im Hauptverzeichnis auf dem Server abgelegt sein und Du kannst Sie über Deinen Browser aufrufen:
http://www.....de/robots.txt
Sollte keine robots.txt angezeigt werden dann überprüf mal Dein Plugin oder erstell Dir manuell die robots.txt

Ich habe nur 45 Jahre Englisch auf dem Buckel, aber dort wo ich es gelernt habe, bedeutet "disallow" "nicht erlauben" (der Fragesteller sieht das ja auch vollkommen richtig), was der Grund ist, weshalb der Google-Bot die Seite nicht indexiert.

Will man das Gegenteil erreichen, so lässt man den Slash weg (und man kann es bei Disallow belassen).

LG Domi

Das ist richtig das Disallow "nicht erlauben" heißt, aber der Schrägstrich danach bedeutet das keine Seite aufgeführt ist die nicht im Index mit aufgenommen werden soll. Das ist etwas verwirrend, aber schon richtig so.
Würde man schreiben allow:/ , dann wird keine Seite indexiert.

Es stellt sich ja auch die Frage ob nur einige Seiten der Website nicht indexiert werden oder die ganze Website nicht.
Vielleicht ist Googlebot ja nur von Archivseiten etc ausgeschlossen.

Du solltest mal Deinen neuesten Post nehmen und den Permalink mit site: davor und in den Suchschlitz bei Google eingeben. Dann siehtst Du ob er im Index ist oder nicht.

Umgekehrt wird ein Schuh daraus - ohne Slash kann alles indexiert werden, mit Slash nichts. Nachzulesen etwa hier:
http://www.robotstxt.org/robotstxt.html

LG Domi

Disallow: so wird alles indexiert.
Disallow:/ so wird gar nichts indexiert

Sorry, da hatte ich einen krassen Denkfehler. Bei meinen robots.txt hab ich auch keinen Slash.
Ich ändere meine Posts hier besser mal ab.

Dann ist es kein Wunder wenn Google-Bot einen Fehler feststellt.

Entschuldigt bitte meinen Fehler!

Zitat von formel1

Disallow:/ so wird alles indexiert.
Allow:/ so wird gar nichts indexiert

Wo hast Du das her? Das stimmt doch nicht - und wäre auch nicht logisch.

Eine weitere Quelle, die dies bestätigt:
http://de.wikipedia.org/wiki/Robots_Ex…ndard#Beispiele

Und noch eine:
http://de.selfhtml.org/diverses/robots.htm

Brauchst Du noch mehr?

LG Domi

Zitat von Domino5702

Wo hast Du das her? Das stimmt doch nicht - und wäre auch nicht logisch.

Eine weitere Quelle, die dies bestätigt:
http://de.wikipedia.org/wiki/Robots_Ex…ndard#Beispiele

LG Domi

Habe meinen Fehler schon bemerkt. Ab und zu sieht man ja den Wald vor lauter Bäumen nicht.

Zitat von Domino5702

Wo hast Du das her? Das stimmt doch nicht - und wäre auch nicht logisch.

Eine weitere Quelle, die dies bestätigt:
http://de.wikipedia.org/wiki/Robots_Ex…ndard#Beispiele

Und noch eine:
http://de.selfhtml.org/diverses/robots.htm

Brauchst Du noch mehr?

LG Domi

Alles anzeigen

Ist ja schon gut, wie oft soll ich noch schreiben das ich meinen Fehler schon bemerkt habe?

Zitat von formel1

Ist ja schon gut, wie oft soll ich noch schreiben das ich meinen Fehler schon bemerkt habe?

Sorry, aber es geht darum, dass Leute, die später diesen Thread lesen, nicht noch mehr verwirrt werden. Vielleicht kann ein Moderator den Thread bereinigen.

LG Domi

Zitat von maxe

Vielleicht kommen wir mal zurück zum ursprünglichen Thema ;-)

Jepp, danke - ich war schon beim Schreiben, Du warst einfach schneller. ;)

LG Domi

Zitat von kayyy

meine manuell hochgeladenen robots.txt http://www.dosonaro.com/robots.txt

Nimm mal den Link ganz schnell wieder raus, bevor einer aus reinem Jux Deine Seite abschiesst!

LG Domi

Und ebenso bekannt ist, dass das ein Sicherheitsrisiko ist. Und ich werde ein Teufel tun, auch noch eine Anleitung dazu zu schreiben, was man alles mit Kenntnis der Inhalte einer robots.txt anstellen kann.

LG Domi

Wie Du meinst. Dannn hast Du halt Deine Auffasung und ich meine.

Nichts für ungut.

LG Domi