Die erste urkundliche Erwähnung der Burg Hammerstein findet sich Anfang des 11. Jahrhunderts im Zusammenhang mit dem berühmten Ehestreit des damaligen Burggrafen Otto von Hammerstein, Gaugraf im Engersgau (* ca.975 + 1036). Der Konradiner Otto war mit Irmingard von Verdun (+ 1042) verheiratet, obwohl beide im vierten Grad verwandt waren. Nach kanonischem Recht war die Ehe deshalb anfechtbar. Diese Schwachstelle nutzte der Mainzer Erzbischof Erkanbald (* 997 + 1021), um seinen Konkurrenten Otto in Schwierigkeiten zu bringen. Erkanbald überredete Kaiser Heinrich II. dazu, offiziell Einspruch gegen die Verbindung zu erheben. Das Grafenpaar erschien aber weder zu einer Vorladung vor dem erzbischöflichen Gericht in Mainz, noch ließen sie sich durch die Exkommunikation wegen Blutsverwandtschaft, die von der Synode von Nymwegen  ausgesprochen wurde, oder dem Urteil des Fürstentages von Bürgeln, der ihre Ehe für ungültig erklärte, ernsthaft beirren. Stattdessen ging Graf Otto zum Angriff über und drang in mainzisches Gebiet ein, um seinen Widersacher gefangen zu nehmen. Er bekam aber nur einige Gefolgsleute des Erzbischofs in seine Hand, die er auf Hammerstein festhielt. Die Burg wurde im Winter 1020 von Heinrich II. so lange belagert, bis Otto und Irmingard nicht nur die Geiseln, sondern auch das Haus übergeben mussten. Das Grafenpaar hatte von nun an keinen Wohnsitz mehr, so dass sich Otto drei Jahre später gezwungen sah, die Auflösung der Verbindung zumindest offiziell zu akzeptieren. In der Hoffnung, Papst Benedikt VIII. mit einem Bittgesuch auf ihre Seite bringen zu können, reiste seine Frau nach Rom, was wiederum Erkanbalds Nachfolger auf dem Mainzer Bischofsstuhl, Aribo (* 990 + 1031), dazu veranlasste, die Ehe auf der Synode in Seligenstadt 1023 nochmals für ungültig erklären zu lassen, um einer Entscheidung des Papstes zuvorzukommen. Zur Strafe für sein Vorpreschen enthob die Kurie Aribo seines Amtes. Bendikt VIII. starb im Jahr 1024, ohne eine Entscheidung gefällt zu haben. Mit der Thronbesteigung Konrads II. im Jahr 1027 endetet der Streit um die Hammersteiner Ehe zu Gunsten des Grafenpaares, denn der neue Herrscher, der selbst in einer anfechtbaren Ehe mit Gisela von Schwaben (*989 + 1043) lebte, hatte kein Interesse daran, den Fall weiterzuverfolgen. Otto und Irmingard konnten nun also wieder unbehelligt als Ehepaar auf Burg Hammerstein leben. Ihr einziger Sohn, Udo, starb allerdings schon zu Lebzeiten der beiden.