Verzeichnisse schützen per robots.txt

    Welche Verzeichnisse sollte man konkret per robots.txt oder htaccess bei der Vers. 1.5 von der Indizierung durch Spider etc. sperren ? Habe dazu recht wenig gefunden und noch zu wenig Erfahrung mit Blogs.
    Stelle mir das also so in der robots.txt vor:

    Disallow: /wp-admin
    Disallow: /wp-login


    Welche Verzeichnisse habt ihr alles geschützt ?
    :roll:

    • Gerade eben
    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

    prinzipiell folgen Spider von Suchmaschinen nur Links, und gehen demzufolge nicht in Verzeichnisse, die nicht bekannt sind oder im Blog irgendwo verwendet werden.

    Weiterhin sollte der Server keine Verzeichnislisten ausgeben sofern kein Standarddokument (index.php, index.htm etc) vorhanden ist, sondern Fehler 403 (forbidden)

    das löst man in der .htaccess mit:
    Options -Indexes
    meist is dies aber Standard auf den Webservern

    den Adminbereich kann der Spider auch nicht weiter durchsuchen, da ja dort eine Passwortabfrage stattfindet, um es aber Hackern schwerer zu machen kann man hier per .htaccess und .htpasswd zusätzlich schützen.

    Die Robots.txt ist leider nur eine "Empfehlung" für Suchmaschinen und es gibt auch schwarze Schafe unter ihnen, die dies einfach ignorieren.
    Hier hilft es nur Logfiles studieren und diese Suchmaschinen komplett aussperren mit IP oder Domainpart in der .htaccess.
    So kann man sich auch lästige Email-Harvester oder Siteripper ersparen. Einen 100%igen Schutz gibt es aber dennoch nicht.


    Mehr Infos zur .htaccess http://www.trash.net/faq/htaccess.shtml
    http://httpd.apache.org/docs/

    für die Harvester

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden