Der 295 Meter hohe Kloppberg soll an seinem nordöstlichen Abhang Mauerfundamente aufgewiesen haben, die Ende des 19. Jahrhunderts Kloppmauer genannt wurden und angeblich zu einer Burg gehört haben. Diese Überreste sind heute nicht mehr aufzufinden, auch fehlen jegliche archivalische Nachrichten zu einer Burg auf dem Kloppberg. Gleichwohl wird sie in der Literatur immer wieder erwähnt. So legt Widder in seiner Beschreibung der kurfürstlichen Pfalz die Zerstörung der Burg un "anderer dergleichen Raubnester" in die Mitte des 15. Jahrhunderts, was Wagner und andere Autoren auf die Regierungszeit Kurfürst Friedrichs I. (1452-1476) präzisierten. Kurfürst Friedrich sei bekannt dafür gewesen, Übergriffe von Rittern in seinem Herrschaftsbereich dadurch abzustellen, dass er ihre Burgen unschädlich machte. Die Zerstörung der Burg auf dem Kloppberg wurde auch mit der Regierungszeit König Rudolfs von Habsburg (1273-1291) in Verbindung gebracht, der 1275 angeblich 70 "Raubritterburgen" zerstört haben soll. Wem die Burg auf dem Kloppberg gehört haben könnte, bleibt Spekulation. Fabricius sieht als Erbauer die Raugrafen, die als Vögte des Hornbacher Fronhofes nachgewiesen sind. Für andere Autoren sind die Herren von Dittelsheim Inhaber der Burg gewesen, die seit 1227 in Dittelsheim nachzuweisen sind. Die Dittelsheimer hatten aber im Dorf selbst einen kleinen Burgsitz (siehe dort). Herrschaftsrechtliche Verbindungen zum Kloppberg sind nicht zu belegen. Dehio und Tillmann sehen die Herren von Sickingen als Inhaber der namenlosen Burg auf dem Kloppberg.