Das ein blankes WP mit 32MB nicht auskommt ist sehr ungewöhnlich. Versuche das Limit mal manuell anzuheben. Über die wp-config (http://faq.wordpress-deutschland.org/exhausted-php-memory/) oder wenn Zugriff über php.ini.
Vielleicht ein 64bit OS, das auf dem Server läuft? Da ist der Speicherverbrauch nämlich etwas höher...