WP-Super-Cache setz die Zeile define('ENABLE_CACHE', true); auch, also sollte es da keine Probleme geben. Bei den anderen kann ich nichts zu sagen. Ich selber nutze auch keinerlei Chache Sachen von WP oder Plugins so das mir die Erfahrungen fehlen.
define('WP_MEMORY_LIMIT', '32M'); hat aber nichts mit dem Cache zu tun und ist in diesem Fall (wahrscheinlich) auch unnötig, da WP normal eh von 32MB ausgeht. Evtl. "beschneidest" dich da momentan sogar selber, falls Dir Dein Provider mehr Memory gönnt.