Wenn Du UTF-8 verwendest, muss natürlich auch das Theme UTF-8 unterstützen, das heißt alle PHP-Dateien des Themes, in denen fest irgendwelche Texte für die Sidebar etc. stehen, müssen auch als UTF-8-Datei (ohne BOM) gespeichert werden.
Ammaletu: Vielen Dank für die Erklärung; das war der richtige Hinweis :-D
Ich habe mir anstelle des windowseigenen Notepads den Freeware-Editor "Notepad2" von Florian Balmer heruntergeladen und damit die sidebar.php geöffnet. Dann im Menü File -> Encoding auf UTF-8 eingestellt und Datei wieder gespeichert. Nach erneutem Hochladen der neu gespeicherten PHP-Datei auf den FTP funktioniert es nun einwandfrei!
Fazit: Wenn die Umlaute in den Beiträgen (=Datenbankinhalte) korrekt dargestellt werden, jedoch Menüs o. ä. nicht, ist das ein Hinweis darauf, dass der Fehler nicht an den Einstellungen der Datenbank oder in Wordpress liegt, sondern an der Codierung der PHP-Datei(en) des Themes.
Danke für alle Antworten!!