Ich schließe mich da meinen Vorrednern an, nach einem Monat ist es schwierig sagen zu können, wo das Problem liegt.
Generell ist eine SSL Verschlüsselung immer sinnvoll, auch was das Ranking angeht. Selbst bei einer SSL Verschlüsselung sind Request Zeiten von 800ms möglich. Das sollte bei deine Seite alles so passen.