Im Jahr 1560 oder 1561 hatte Erzbischof Daniel von Mainz mit Zustimmung des Domkapitels einige Jesuiten nach Mainz berufen, die sich auf seine Kosten im Kolleg im Haus "Zum Algesheimer" hinter der Christophskirche um die Unterrichtung der Jugend kümmerten. Am 7.9. 1568 stiftete er ein neues Kollegium und verschenkte das "Haus zum Algesheimer" mit noch drei gegenüber liegenden, von ihm gekauften Häusern. Für den Gottesdienst benutzten die Jesuiten die benachbarte Pfarrkirche St. Christoph. 1577 wurde das Kolleg in das Franziskanerkloster am Schöfferplatz verlegt, das alte Kollegiengebäude wurde als Jungenkonvikt eingerichtet. Nach der schwedischen Okkupation wurde es Novizenhaus der oberrheinischen Provinz. Anfang des 18. Jahrhunderts ließen die Jesuiten die Häuser abbrechen und erbauten von 1715-19 das große, geschlossene Gebäude mit der dem hl. Joseph geweihten Kirche vorne an der Ecke. Das über der Straße gelegene Haus Algesheim wurde 1726 neu erbaut und durch einen über die Straße führenden Bogengang mit dem Noviziat in der Quintinstraße (errichtet 1715-1719) verbunden.
Nach der Aufhebung des Jesuitenordens im Jahr 1773 wurden die Kirche und das Kollegium am 6.9. 1773 der Universität übergeben, die jungen Geistlichen wurden aus dem Bonifatius-Seminar in das Noviziat versetzt. Ein 1792 geplanter Umbau zur Universitätsbibliothek kam nicht zustande. Das Kollegium und die Kirche brannten während der Beschießung der Stadt in der Nacht vom 28. auf den 29.6. 1793 bis auf die Mauern ab. Erst 1805 wurden die Reste der Kirche und später auch des Kollegiums auf Abbruch versteigert. Die Bestimmung des ehemaligen Noviziats als Seminar dauerte bis Dezember 1798, als die Franzosen es als Zentralschule einrichteten. Nachdem diese Schule aber am 30.6. 1803 aufgehoben worden war, wurde es im Oktober desselben Jahres dem Lyceum überlassen. Als 1813 das Lyceum schloß, wurde das große Gebäude als Militärhospital und dann als Kaserne genutzt, bis es 1841 vom Deutschen Bund der Stadt Mainz überlassen wurde. Im Jahr 1847 richtete man darin zeitweise eine städtische Bäckerei ein und am 1.9. 1848 wurde das Noviziat zum bürgerlichen Invalidenhaus bestimmt. Nach einem Brand im Jahr 1862 wurde ein dritter Stock hinzugebaut.