Er entstammte dem ländlichen Milieu des zum ehemaligen Erzstift Mainz gehörenden Ortes Mühlheim/Main, wo er im Jahr 1788 geboren wurde. Sein Vater war Landwirt und Besitzer eines Gasthofes.
Sein Bildungsgang und Berufsweg zeigt folgende Stationen: Besuch der Gymnasien in Miltenberg und Aschaffenburg, Priesterseminar Aschaffenburg, 1812 Priesterweihe, Seelsorger in verschiedenen Pfarreien, 1817 Übernahme der Diasporapfarrei Gießen (500 Katholiken in 50 Orten), Assessor des großherzoglichen Kirchen- und Schulratskollegiums, 1826 Pfarrer in Bensheim/Bergstraße, 1830 Pfarrer der Pfarrei St. Ludwig in der Residenzstadt Darmstadt, 1830 Oberschulrat, seit 1834 Stellvertreter des Mainzer Bischofs in der Ersten Kammer des hessen-darmstädtischen Landtages.
Er war der Bischof aus der Mitte der Diözesanpriesterschaft. Die Kurie zögerte zunächst die Bestätigung seiner Wahl hinaus, weil einige seiner theologischen Veröffentlichungen das Missfallen Roms hervorgerufen hatten. Papst Gregor XVI. sprach dann doch die Ernennung aus und formulierte in einem Begleitschreiben die Erwartung, dass der neue Bischof sich an die überlieferte religiöse Praxis halte. Manchen Formen der überlieferten barocken Frömmigkeit verweigerte der einer verinnerlichten Askese und Spiritualität verpflichtete Bischof Kaiser seine Zustimmung. Dies betraf auch das Medienereignis des Jahres 1844: die Massenwallfahrt zum Heiligen Rock nach Trier, die zu leidenschaftlich ausgetragenen öffentlichen Auseinandersetzungen führte. Besonders massiv agierte eine von den suspendierten Priestern Johann Ronge und Johann Czerzki geführte Gruppe von Katholiken, die, in der Tradition der Aufklärung stehend, sich gegen überlieferte Frömmigkeitsformen wie Fasten, Heiligenkult, Reliquien- und Bilderverehrung und Wallfahrten wandte. Da diese "Deutschkatholiken" auch das kirchliche Lehramt und den Primat des Papstes ablehnten, wurden sie aus der Kirche ausgeschlossen. Sie gründeten eigene Gemeinden in Mainz, Offenbach, Bensheim und Alzey. Da die Deutschkatholiken wussten, dass Bischof Kaiser gegenüber bestimmten Frömmigkeitsformen ebenfalls kritisch eingestellt war, baten sie ihn, sich an die Spitze ihrer Bewegung zu stellen. Bischof Kaiser versuchte jedoch, sie für die Kirche zurück zu gewinnen. Als ihm dies nicht gelang, wandte er sich in Predigten gegen diese Bewegung.
Dem Großherzogtum blieben Ereignisse wie die "Kölner Wirren" 1837, die zur Verhaftung des Kölner Erzbischofs führten, weil dieser das Theologiestudium an der staatlichen Universität Bonn blockierte und in der Frage der konfessionell gemischten Ehe die päpstliche Position entschieden gegenüber dem preußischen Staat vertrat. Die hessische Regierung ließ in dieser Frage Bischof Kaiser freie Hand. Sein Bemühen um Vereinheitlichung des Bistums drückte sich vor allem in den 1837 veröffentlichen, bis 1957 geltenden Diözesanstatuten aus.
Seine Sorge galt der Reform des Religionsunterrichtes. Er war auch Herausgeber eines "Kleinen Katechismus". Die Ansiedlung karitativer und erzieherisch tätiger Orden war ihm nicht gelungen. Im Revolutionsjahr 1848 - seinem Todesjahr - konnte er noch beobachten, wie sich der politische Katholizismus im "Verein für religiöse Freiheit" ("Pius-Verein") organisierte und wie karitativ engagierte Katholiken die Vinzenz- und Elisabethenvereine gründeten. Die Märzrevolution 1848 begrüßte er mit einem Dankgottesdienst im Dom.