Google Crawl

Hi, ich habe festgestellt, dass Google nur meine Index Seite crawlt. Ich weis nicht woran das liegt. Ich war vor einigen Monaten auf einem anderen Server, da hatte ich aber keine sitemap und auch keine robots.txt, trotdem wurde die Seite stündlich gecrawlt, und zwar wirklich jeder Beitrag und Seite.

Seid dem Umzug sind einige Plugins dazugekommen, aber die Theme ist die Selbe geblieben. Ich weiß nicht ob Google die anderen Beiträge und Pages einfach nicht findet, oder garnicht danach suchen will. Auf jeden Fall waren einige Tage nach dem Umzug etwa 200 Einträge in Google gelistet. Jetzt (knapp 2 Monate später) sind es nur noch 80, obwohl ständig Inhalt dazugekommen ist. Jetzt habe ich mal die sitemap gelöscht, um zu sehen was passiert.

Es wird übrigens das Plugin Googlebot benutzt um das crawling Verhalten zu beobachten.

Ich muss noch dazu sagen, dass ich nach dem Umzug meine Sitemap und robots.txt 3-4 mal abgeändert habe. Könnte es vielleicht sein, dass Google sowas nicht mag?

Meine robots.txt sieht so aus, die habe ich auch irgendwo herauskopiert, denke, dass sie auf den ersten Blick auch auf meine Seite anwendbar ist. Was mir grade auffällt, ich habe kein /cgi-bin..

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
 
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*


# Google Ads Statistic
User-Agent: Adsbot-Google
Disallow:
Allow: /*


# Google Mobile Statistics
User-Agent: Googlebot-Mobile
Disallow:
Allow: /*


# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
 
# digg mirror
User-agent: duggmirror
Disallow: /

Ich habe ein SEO Plugin installiert, aber nichts daran konfiguriert.

Das verstehe ich nicht:
- noindex,nofollow gesetzt
- rel="nofollow" bei den Links angegeben?

EDIT: Hab mir die Konfiguration nochmal angesehen.. Hatte da doch was verändert.
Titel, Description und keywords angegeben.

Und der Rest sieht so aus

Ohh, Je.. Ist mir so peinlich meine Seite anzugeben :oops:.
Anime - Subs & Cuts

EDIT: Ich rufe meine Seiten tatsächlich mit /?p=123 auf.. Habe die robots.txt mal geändert.

User-Agent: *
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin
Allow: /

Ich möchte also alles zualssen, außer: /wp-includes, /wp-content/plugins, /wp-content/themes und /wp-admin.
Ich hoffe das ist so richtig, damit der Seiteninhalt endlich gecrawlt wird.

Vielen dank.
Werde nun beobachten, wie sich die Änderungen auf das crawling Verhalten auswirken, sobald Google die neue robots.txt annimmt.

Ich habe einen [SIZE=-1]Webmaster-Tools account bei Google. Meinst du das?
Aber ich finde dort nirgends eine Option Sitemaps im [/SIZE]Vorfeld zu testen. Das Einzige was ich dort sehe ist robots.txt analysieren. Bei Sitemaps habe ich aber noch keine neue Sitemap hoch geladen. Ich lass Google mal selber nach dem Inhalt suchen. Immer wenn ich eine hochlade, gibt es plötzlich Fehler für URLs in XML-Sitemaps. Eigentlich hat Google auch ohne Sitemap immer alle Seiten gefunden. Ich habe erst Probleme mit dem Crawlen, seid dem ich mich mit robots und sitemaps befasse :) ..

Ja, ich hab es getestet, sieht alles ganz gut aus. Hab gerade mein Googlebot angeschaut, es wurden sogar schon 10 Seiten gecrawlt :).
Meine geänderte robots.txt wurde vor kurzem auch von google neu runtergeladen.