Wordpress zu beschleunigen ist keine Magie. Das von dir schon erwähnte wp_super_cache ist schon ein guter Anfang.
Führe ein mehrstufiges Caching ein: System, DB, PHP, WP, Browser
Reduziere die Plugins aufs notwendigste. Counter und Statistikplugins sind imho Blödsinn. Sinnvoller und viel ressourcenschonender ist da eine Serverlogauswertung z.B. mit Webalizer, AWstats oder Analog (um nur mal die drei großen Open Source Vertreter zu nennen).
Eine weitere Option wäre die HTTP-Requests zu reduzieren z.B. durch den Einsatz von CSS-Sprites.
CSS und JavaScript sollten komplett in externe Dateien (jeweils eine) ausgelagert werden. Wobei die CSS-Datei im Head, die JS-Datei direkt vor </body> eingebunden wird.
Soviel erst mal auf die Schnelle.
Gruß
Mo