Die Jesuiten übernahmen zunächst die Zisterzienserinnenbauten. Anfang des 17. Jahrhunderts brachen sie schließlich die gotische Kirche bis auf den Chor ab und bauten zwischen 1613 und 1617 (Chrongramm im Gebälk) eine neue Kirche nach dem Vorbild der Jesuitenkirche St. Peter in Münster. Die alte Jesuitenkirche war eine dreischiffige sechsjochige Säulenbasilika mit Seitenschiffemporen, einer Westempore sowie prächtigen Stremgewölben. Der frühgotische Chor der 1254 begonnenen Vorgängerkirche schloss den Bau nach Osten ab. Die Architekturformen waren der längst nicht mehr aktuellen Gotik entlehnt, moderne Renaissanceformen fand man vor allem am Außenbau. Eine prachtvolle Barockausstattung gab dem Innenraum einen besonderen Reiz. Nach Auflösung des Jesuitenordens 1773 wurde die Kirche Filiale von St. Kastor. Im Jahr 1944 wurde die alte Jesuitenkirche durch Kriegseinwirkung zerstört. Der Wiederaufbau erfolgte 1958/59.

Zwischen 1580 und 1701 erfolgten die heute noch bestehenden Neubauten für Kolleg und Gymnasium. Das Jesuitenkolleg bestand hier bis 1773, dann wurde das Gymnasium dort untergebracht. Das jetzige Hauptgebäude wurde 1895 durch Johann Christoph Sebastiani erstellt und dient seit 1895 als Rathaus der Stadt.

Obwohl die 1944 zerstörte Kirche des ehemaligen Jesuitenkollegs durchaus noch wiederaufbaufähig gewesen war, entschloss man sich nach langer Diskussion im damaligen Bauverein 1956 zum Abriss und nahm einen Neubau in angriff. Nur die barocke Sakristei blieb erhalten.
Der heutige Kirchenbau, Filialkirche der katholischen Pfarrei St. Kastor, ist ein dreischiffiger Längsbau mit Polygonalchor. Der Bau entstand 1956 bis 1959 nach Plänen von Gottfried Böhm (Köln), einem der bedeutendsten Kirchenarchitekten der Nachkriegszeit. Böhm übernahm vom Vorgängerbau die erhaltene Westgiebelfassade von 1617 mit dem großen Radfenster und dem in Renaissanceformen gestalteten Hauptportal. Zur im Zweiten Weltkrieg geretteten Ausstattung gehören zahlreiche Schlusssteine des 17. Jahrhunderts, eine Pieta (15. Jahrhundert) und zwei Weihwasserbecken. Die prachtvolle Sakristeitür zur Kirche sowie die Möblierung und der Deckenstuck der Sakristei aus der Erbauungszeit haben die Kriegszerstörungen überlebt und zeugen noch vom ehemaligen Reichtum der untergegangenen Klosterkirche. Zur modernen Ausstattung gehören die von Edith Peres-Lethmate (Koblenz) geschaffenen Kunstwerke der Dreifaltigkeitsgruppe über dem ehemaligen Hochaltar und der Kreuzwegstationen. Ebenso die Glasfester von Jakob Schwarzkopf und die "Rosenlaube" von Evert Hofacker für die Pieta.