Unglaublich, aber ich habe gerade selbst herausgefunden, worin das Problem bestand. Ich hatte, aus einer vorangegangenen Installation in der Domain, noch das Apache Modul mod_cache inkl. mod_mem_cache laufen. Das vertrug sich offenbar garnicht mit den Rewrites durch die Permalinks. Modul deaktiviert (wird eh nicht gebraucht), Problem gelöst.
Vielleicht hilft das noch jemanden.