Der Karmeliterhof und die Wackelburg sind die einzigen erhaltenen spätmittelalterlichen Hofgüter der Stadt. Im Jahr 1420 wird er erstmals urkundlich erwähnt.

Hofgüter und ähnlicher Grundbesitz wurden im Auftrag verschiedener adeliger und geistlicher Herren bewirtschaftet. 1621 zählte der damalige Schultheiß Herwart in Rhens 18 solcher Güter, darunter auch Zehnthof, Pfarrhof und Hospital.

Der Karmeliterhof, zu dem alle Gebäude an der Ostseite des Baiergartens gehörten, ist nahezu vollständig erhalten, jedoch baulich stark verändert. Er bestand aus drei Gebäuden, die in den Jahren 1544, 1551 und 1574 errichtet wurden, und dem an der Ecke zur Josephstraße gelegenen Gebäude "über der Pforten" von 1541. Letzteres bildet noch heute die Toreinfahrt des Karmeliterhofes. Das Gebäude im Vordergrund der ersten Aufnahme trägt an der bahnseitigen Hausecke die älteste im Original erhaltene Rhenser Bauinschrift.
Damals verkaufte der Ritter Rolmann von dem Turme in Rhens das Hofgut an das Kölner Severinsstift, in dessen Händen es bis 1676 verblieb. Dann kam es durch Verkauf an das Karmeliterkloster in Koblenz, bis es 1798, als das linke Rheinufer französisch wurde, durch den französischen Staat eingezogen wurde. 1804 wurde der Karmeliterhof und die dazugehörigen Ländereien für insgesamt 9650 Franken versteigert. Mit über 8 Hektar Grundbesitz war das Gut eines der größten Weingüter in Rhens.

Bis ins 20 Jh. hinein befanden sich noch Mönchszellen und eine Kapelle in dem Gebäudekomplex.