"Warm laufen" ist schon richtig, aber nicht paar Tage. Sondern eher 1-2 Seitenaufrufe.
Das Browser-Caching funktioniert so, dass wenn jemand die Seite das erste Mal besucht, die Seite komplett vom Server geladen wird. Beim zweiten Besuch ist es dann schneller, da die statischen Inhalte bei dir lokal im Cache sind und die Seite schneller öffnet.
Wenn die Bilder aber nicht optimiert sind und sehr groß sind, kann das Laden auch aus dem Cache länger dauern. Daher sollte man immer die Bilder optimieren. Umso kleiner die Bilder, desto schneller werden die Bilder geladen.
Es hängt aber auch vom Server ab. Bist du bei einem schnellen Webhoster, ist die Seite auch schneller. Dann gibt es auch Server Caching, die jetzt nicht die Bilder schneller laden, sondern dynamische Elemente.
Du bist bei keinem schneller Webhoster:
Alleine die erste Anfrage vom Browser zum Server dauert 2,35 Sekunden! Dieser Wert sollte in Millisekunden Bereich sein.