Pretty Permalinks funktionieren nicht richtig

Hallo an alle,
wir würden gerne in Wordpress unsere Permalinks "verschönern", und haben auch unter Permalinks> benutzerdefiniert soweit gefunden, wo das geht...

leider sieht der permalink-rattenschwanz nicht ganz so aus, wie wir es uns vorgestellt haben : /index.php/%category%/%postname%/
es funktioniert nur, wenn wir vorne das index.php hinzufügen.. wir würden es aber sehr gerne auch ohne diesen Zusatz hinbekommen. Woran liegt das? Was machen wir falsch bzw was muss man dort einsetzen?

Vielen Dank im Voraus!!!

Vielen Dank für die schnelle Antwort.
Es "funktioniert" daher nicht richtig, dass, wenn wir das index.php vorne weglassen, die Seiten eben nicht mehr gefunden werden.
also die benutzerdefinierten permalinks funktioneren, aber nur, wenn wir "index.php" hinzufügen...

edit: htaccess wurde erstellt.. sie beinhaltet:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

Muss da noch etwas anderes hin??