Das ist so einfach...selbst das installieren eines weiteren Plugins wegen so einer Kleinigkeit ist weit komplizierter...
Lade favicon.ico in das Stammverzeichnis deines Blogs (dort wo sich auch die "index.php" befindet).
Nun das Theme bearbeiten (header.php) und direkt unter
folgendes einfügen:
Speichern, Fertig!
Ahja, zwecks Konformität lieber so: