robot.txt Aufbau

Dat Inge

Irgendwie mag Google meine robots.txt nicht.

Zitat

Die Seite konnte nicht gecrawlt werden, da sie durch die neueste vom Googlebot heruntergeladene "robots.txt"-Datei blockiert wird. Falls Sie die "robots.txt"-Datei vor Kurzem aktualisiert haben, beachten Sie, dass es bis zu zwei Tage dauern kann, bis die Aktualisierung wirksam wird.

Code

# Google Image
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Allow: /images/
Disallow:


# Google AdSense
User-agent: Mediapartners-Google
Disallow:


# digg mirror
User-agent: duggmirror
Disallow: /


# global
User-agent: *
Allow: /wp-content/uploads/
Allow: /images/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

Alles anzeigen

Keine Ahnung was daran falsch sein soll! :sad:
Weiß es einer von euch?

Werbepost

Hallo!

Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
✔️ Deutsche Server & DSGVO-konform
✔️ Persönlicher Support (kein 0815-Ticket-System)

Mehr erfahren

Hille

Aktuell dürfen nur die Verzeichnisse /wp-content/uploads und /images durchsucht werden. Hier mal ein funktionierendes Beispiele, evtl. musst du das noch an deine Bedürfnisse anpassen

Code

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /author/
Disallow: /tag/


User-agent: googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /index.php
Disallow: /feed/
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /piwik


User-agent: googlebot-image
Disallow: /wp-includes/


User-agent: mediapartners-google
Disallow: /


User-agent: ia_archiver
Disallow: /


User-agent: duggmirror
Disallow: /

Alles anzeigen

Dat Inge

Top, nun läufts! Dank dir

Willkommen! Melden Sie sich an oder registrieren Sie sich.

robot.txt Aufbau

Jetzt mitmachen!