Ich würde an deiner Stelle im Firebug (Firefox Erweiterung) unter "Netzwerk" erst mal schauen, ob nicht der Server an sich viel zu langsam auf die Anfrage antwortet. Denn wenn die Antwort vom Server verspätet ankommt, dann kann WordPress nichts dafür.
Sonst: Nachts oder morgen früh alle Plugins deaktivieren und vergleichen...