Die, auf einem Felssporn befindliche, Talburg wurde 1276 erstmals urkundlich erwähnt, wobei vermutet wird, dass sie 1181 erbaut worden war und als Lehen im Besitz des Klosters Prüm in der Eifel gewesen war. Die ersten nachweisbaren Burgmannen waren Meffried von Reipoltskirchen und Jakob von Boos zu Reipoltskirchen. Von 1297 bis 1351 diente sie Heinrich, der den Doppeltitel, von Hohenfels und Herr von Reinpoltskirchen trug, als Hauptsitz. Nach seinem Tod ließen sich die Herren von Hohenfels auf der Talburg nieder, bis diese Herrschaftslinie 1602 erlosch. Danach erfolgten bis zum Beginn der Französischen Revolution stetig Teilungen des Ortes Reipoltskirchen und dessen Besitzungen. 

Die Burganlage wurde vermutlich im 15. Jahrhundert auf der südöstlichen Seite um eine Geschützbastion erweitert, wobei bisher nicht bekannt ist, wie weit sich die Anlage im Osten erstreckte. Die Kernburg bestand ursprünglich aus einem langgezogenen, halbgreisförmigen Plateau, das durch eine sechs Meter hohe Mauer umschlossen war. Über eine Zugbrücke gelangte man zur trapezförmigen Vorburg, die sich im Süden befand. Hier wurde 1908 ein Wohnhaus errichtet, dass im Jahr 1956 noch erweitert wurde.

Der 17 Meter hohe Wehrturm wurde um 1200 erbaut und besteht aus drei Etagen. Seine Untergeschosse weisen eine Quaderverkleidung auf, die teilweise von Buckelquadern mit Randschlag an den Ecken verziert worden ist. Die unterste Etage besitzt eine eingezogene Zwischendecke. Das Obergeschoss hebt sich durch eine alternierende Eckquaderung und einem, wahrscheinlich um 1500 errichteten, umlaufenden Rundbogenfries mit Blendmaßwerk an der Mauerkrone von den anderen Etagen ab. Im 16. Jahrhundert wurde ein zweigeschossiges Amtshaus errichtet, das über das oberste Turmgeschoss erschlossen werden konnte, allerdings war das Gebäude bereits 1830 nur noch eine Ruine. Heute ist nur noch der Gewölbekeller erhalten.