Am Fuß der Festung Ehrenbreitstein errichtete Erzbischof Philipp Christoph von Sötern zwischen 1626-1629 ein Schloss. Das Gebäude entstand wohl nach Plänen Georg Ridingers. Hierhin flüchtete der Kurfürst aus dem vom Krieg bedrohten Trier und verlegte seine Residenz an den Rhein. Der alte Ort Mühlheim im Tal wurde in Philippstal umbenannt. Nach der Vollendung des Neuen Schlosses in Koblenz 1786 wurde die Philippsburg nicht mehr benutzt.Das Schloss wurde nach dem Frieden von Lunéville (1801) von den abziehenden Franzosen zusammen mit der Festung gesprengt, die Gebäude anfang des 19. Jahrhunderts abgerissen.
Erhalten ist die Pagerie, der ehemalige "Festungspfortenbau", der später Pagen zur Unterkunft diente. Das Gebäude wurde zwischen 1690-1692 vom kurtrierischen Hofarchitekten Johann Christoph Sebastiani errichtet. Es hat zwei Geschosse mit Mansarddach und Zwerchhaus, die dreiachsige Straßenfront ist durch verkröpfte Pilaster betont, an der Rückseite befindet sich ein stumpfwinklig abbiegender kurzer Querflügel. Rustiziertes Erdgeschoss mit flachbogiger Durchfahrt (ehem. Aufgang zur Festung) und Okulusfenstern. Im Giebel des Zwerchhauses prangt das Wappen des Kurfürsten Johann Hugo von Orsbeck. Statt des Mansarddaches ursprünglich welsche Haube mit schlanker Laterne und Zwiebel (1801 zerstört). Der ehem. Terrassengarten ist klein, war aber einst besonders reich an Bildsäulen und springenden Wassern.