Ich kenne deine genaue Server Konfiguration nicht, deswegen kann ich da nur wenig sagen. Hast du evtl irgend welche Tools wie Plesk zu laufen? Die beeinflussen dein System immer negativ.
Generell sind aber 1GB RAM zu wenig. Da wirst du immer Probleme bekommen, das dein Server Swapt.