Danke für deine Antwort.
Ich habe es gerade nochmal versucht mit Ausloggen und Cache im Browser leeren. Das Verhalten ist immer gleich. Beim ersten Mal neu Laden (auch in anderen Browsern, die die Seite noch nie gesehen haben) wird zunächst eine 404 angezeigt und beim nächsten F5 ist die Seite da.
Jetzt wird es noch kurioser:
Ich habe die betroffene Seite in den Papierkorb gelegt und danach daraus unwiderruflich gelöscht. Danach alle mir bekannten Caches geleert. Trotzdem kann ich die Seite noch aufrufen!
Als Plugins nutze ich W3 Total Cache über dessen Dashboard ich bei den Test immer alle Caches geleert habe. Außerdem ist bei mir Yoast Wordpress SEO im Einsatz.
Nur weil meine Benutzer die URL vielleicht nicht kennen, möchte ich trotzdem gerne die Kontrolle darüber haben, was nun sichtbar ist und was nicht.
Ich werde mal versuchen das mit einer frischen Wordpress-Instanz zu reproduzieren.
Bis dahin hat vielleicht noch jemand eine Idee?