Das Directory Listing ist nicht grundsätzlich ein Problem. Wenn es keine Alternative gibt (was ich eigentlich bezweifle), kann man das unter Umständen schon so machen.
Die Gefahr beim Directory Listing ist eher, dass man unnötig viele Informationen preisgibt, z.B. wie Dateien heißen, welche Software installiert ist und in welcher Version, wie das Dateisystem aufgebaut ist, etc. Außerdem kann man daran z.B. nachvollziehen, wie User-Uploads funktionieren, wo Dateien abgelegt werden, wie die benannt werden, etc.
Du schreibst ja, dass dort nur MP3-Dateien und PDFs abeglegt werden. So lange du sicherstellen kannst, dass das so bleibt, könnte man es theoretisch schon so machen. Sowas wir Wordpress gehört dann aber auf gar keine Fall mehr auf diesen Webspace (bzw. in den Bereich für den das Directory Listing aktiv ist).
Konsequenterweise würde ich dann auch gleich das Ausführen von Skripten insgesamt deaktivieren (also PHP, CGI, etc.).