robots.txt

    Hallo zusammen,
    ich weiss nicht, ob das Thema hierher gehört, aber ich versuch es einfach mal: Google hat an meiner robots.txt herumgemeckert (Netzwerk nicht erreichbar usw.). Darauf hin habe ich die robots.txt aus dem Hauptverzeichnis völlig gelöscht. (War auch ein Vorschlag von Google). Jetzt kommt der Witz der Sache. Wenn ich http://www.meine-domain/robots.txt eingebe erscheint meine robots.txt trotzdem. Habe den Browser-Cache mehrmals gelöscht. Trotzdem. Habe es auch von meinem Laptop aus versucht, die robots.txt lässt sich so aufrufen. Obwohl ich sie im Hauptverzeichnis gelöscht habe. Hat vielleicht jemand eine Idee? Die robots.txt muss weg. Wäre dankbar. Bin am verzweifeln. :confused:

    Danke im Voraus

    • Gerade eben
    • Anzeige

    Hallo!

    Wenn du gerade an deiner Website arbeitest oder dein aktuelles Hosting überdenkst: Wir betreiben mit NetzLiving eine Hosting-Plattform, die speziell auf Performance, Sicherheit und einfache Verwaltung ausgelegt ist.

    • ✔️ Schnelle Ladezeiten (optimiert für WordPress & Co.)
    • ✔️ Deutsche Server & DSGVO-konform
    • ✔️ Persönlicher Support (kein 0815-Ticket-System)

    Mehr erfahren

    Hallo,
    Wordpress liefert als Standard eine Virtuelle Robots.txt von Haus aus mit.

    Wenn das Netzwerk nicht erreichbar ist, liegt dies nicht an Wordpress sondern meist am Server oder Hoster.

    Dies ist die Standard Robots.txt
    User-agent: *
    Disallow:

    Wie man Sie deaktiviert, weiss ich nicht.
    Gruss Ivan

    Danke für deine Antwort. Aber Google kann angeblich nicht auf die robots.txt zugreifen. wenn ich sie jetzt ändere, ist sie immer noch da. wenn ich sie lösche, ist sie immer noch da ("virtuelle robots.txt"). und in beiden fällen kann Google nicht darauf zugreifen und crawlt aus diesem grund nicht meine sitemap. Google behauptet in beiden Fällen, ob gelöscht oder nicht, eine robots.txt sei da. Wie kann ich denn die "virtuelle robots.txt" von Wordpress wirklich löschen?

    Viele Grüße
    Steffen

    Hallo marX,
    ich habe jetzt rausgefunden, wie WP die robots.txt automatisch erstellt: wenn ich die Permalinkstruktur ändere auf "Benutzerdefinierte Struktur", dort gebe ich ein: /%postname% - wegen der schönen Links :???:. Da erstellt WP automatisch eine robots.txt. Wenn ich wieder "Standard" eingebe, ist die robots.txt weg. Wie kann ich das abstellen? Ich will keine robots.txt, aber eine schöne Linkstruktur. Wo oder wie kann ich die blöde robots.txt killen?

    Viele Grüße
    Steffen

    Wie ich schon sagte: leg dir eine leere robots.txt an (oder mit dem von -ivan vorgeschlagenen Inhalt). WP leitet nur dann um, wenn keine physische Datei vorhanden ist (genau genommen wird WP dann gar nicht erst vom Webserver gefragt ;-)).

    Eine fehlende robots.txt müllt dir u.U. nur das error.log oder access log mit Meldungen zu, da Suchmaschinenroboter immer versuchen, auf diese Datei zuzugreifen. Ganz "killen" würde ich sie daher nicht.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden