ich gehe mal davon aus, dass die 4,9 Sekunden für das Laden der Seite inkl. aller weiteren Requests (css, Bilder etc) stehen - und mit "Erstaufruf" der des "Browsers" gemeint ist. Das bedeutet, dass eine gecachte Seite aufgerufen wurde - und das sollte schnell sein und hat nicht so viel mit der WP-Performance zu tun.
Die meisten Seiten sind mittlerweile gecached. Aber das Generieren einer (nicht gecachten) Seite dauert 15+ sek. Das sieht man schön im HTML-Quelltext:
<!-- Dynamic page generated in 29.585 seconds. -->
Edit: Es geht mir nicht um die Seite selbst (HTML + Content), sondern um die Generierung der Seite in WordPress. Klar könnte man die Bilder kleiner machen. Man könnte auch eine Seite ohne Bilder machen etc - aber darum geht es mir nicht.