Nicht die ideale, aber immerhin erstmal eine Lösung.
Meine Datenbank ist UTF-8, in der wp-config steht "define('DB_CHARSET', 'utf8');" Das habe ich auskommentiert. Danach war in den Seiten und Artikeln die Anzeige wieder korrekt. Leider wirkt sich das ganze nicht auf die Widgets aus.
Update:
Den Fehler konnte ich weiter eingrenzen. Nachdem ich ein frisches WordPress aufgesetzt habe und nur dieses Plugin installiert habe funktioniert alles soweit. Erst wenn ich in den Einstellungen die Möglichkeit "Nutzer weiterleiten - Einstellung was passiert wenn ein Nutzer keinen Zugriff auf ein Post/Seite hat." Aktiviere (Egal welche Möglichkeit), dann werden die Umlaute verändert. Deaktiviere ich diese Funktion ist alles i.O.