Ok habs doch noch rausgefunden :)
Hier eine kurze Anleitung:
1. Lightbox 2.5 Plugin installieren & aktivieren
stimuli.ca » Lightbox 2.5 plugin for Wordpress
2. Lightbox-Auto Plugin installieren & aktivieren
Plugin Add Lightbox pour Wordpress
Das wars auch schon...
Falls jemand lieber Thickbox oder ähnliche einbinden will, kann das auto-lightbox Plugin sicher dementsprechend umschreiben. Soviel ich weiss fügt es bei bestehenden Bildern einfach den Code rel="lightbox" hinzu.
Ich hoffe ich konnte einigen helfen.