Bei include sollte ein Serverpfad hin. Wie gesagt, __FILE__ sollte in die Richtung gehen, dirname() könnte helfen, in $_SERVER stehen auch nützliche Angaben.
Für include mit URLs brauchts einen Wrapper der bei dir aber nicht verfügbar ist. ;-)
Und zum prinzipiell noch, dann mach ich Schluss für heute: Per Ajax lädst du eben nur den Inhalt nach, der dann in das <div> eingefügt werden soll. Dein PHP-Script, was du per Ajax-Request (im Prinzip eben ein einfacher GET-Request) aufrufst, sollte also ausschließlich dieses HTML-Fragment zurück liefern, was später im <div> landen soll. Eventuell solltest du die Funktion auf mehrere Scripte aufteilen - eins zum Includen in WP, eins für den Ajax-Request usw.
*Arno zustimm und seinen Rat jetzt auch umsetz* :-D