Interne Verlinkung von Kategorien

Du musst wohl echo benutzen, weil die Funktion get_category_link anscheinend kein echo enthält.
Und echo muss eben verwendet werden, um in PHP etwas auszugeben.

Wenn sich irgendwann mal (aus welchem Grund auch immer) die Permalink-Struktur ändert (z.B. neue Domain, Wordpress in Unterverzeichnis gelegt, Kategorie wird umbenannt usw.), dann erkennt das die Funktion und gibt den korrekten Link aus. Die ID bleibt gleich, solange die Datenbank existiert.

Genau. Man sollte möglichst wenig mit statischen, hardcodierten Befehlen arbeiten. Immer so dynamisch wie möglich, dann ist die Chance größer dass mal bei irgendwelchen Änderungen weiterhin alles stimmt.

Probier's doch aus ;)
Aber das </div> und </p> solltest du tauschen, damit es in der richtigen Reihenfolge geschlossen wird.
Ob der Rest so semantisch korrekt ist, weiß ich nicht.
Und theoretisch könntest du ja auch das div weglassen:

<li><a href="<?php echo get_category_link(33); ?>">
<p class="kuenstler-a-z"><img src="wp-content/images/kuenstler-a-z.jpg" alt="Künstlerdatenbank">
</p></a></li>

Semantisch ists okay. Syntaktisch aber nicht - innerhalb von <a>-Elementen sind keine Blocklevel-Elemente wie <p> oder <div> erlaubt. Und inhaltsleere Elemente wie <img> müssen in XHTML speziell gekennzeichnet werden.

So passts syntaktisch, evtl. musst du das CSS entsprechend anpassen:

<li>
  <p class="kuenstler-a-z">
    <a href="<?php echo get_category_link(33); ?>"> 
      <img src="wp-content/images/kuenstler-a-z.jpg" alt="Künstlerdatenbank" />
    </a>
  </p>
</li>

Suchmaschinentechnisch wäre vielleicht noch schön, wenn im title- (<a>) und alt-Attribut (<img>) jeweils der Kategoriename stehen würde: alt="<?php echo get_cat_name(33); ?>"