Dein Blog hat immer automatisch einen RSS-Feed. Häng einfach mal "/feed" an Deine URL an, dann müsstest Du ihn sehen können (wenn Du Permalinks benutzt jedenfalls). Gute Themes binden das so ein, dass gute Browser (z.B. Firefox) das dann oben in der Adressleiste als kleines Feed-Icon darstellen können.
Du kannst den Feed natürlich auch an beliebiger Stelle im Theme verlinken. Enthalten ist er z.B. auch schon im Meta-Widget.
Das RSS-Widget ist dazu gedacht, einen *fremden* RSS-Feed zu ziehen und die Überschriften in der Sidebar zu verlinken. Damit kannst Du z.B. die News einer anderen Webseite bei Dir in der Sidebar verlinken.
Update: Ok, Dein Blog hat keine Permalinks eingestellt. Dein Hauptfeed ist hier: http://www.johnmuc.de.vu/blog/?feed=rss2
Genauso gibt es zu jedem Archiv (Kategorie etc.) einen Feed und zu jeder Einzelansicht (mit den Kommentaren). Und Du könntest folgendes in die header.php vor das </head> einfügen: