Die Wahl und Ernennung Georg Heinrich Kirsteins zum Bischof von Mainz wurde in der Stadt freudig begrüßt, denn mit ihm bestieg ein echter "Meenzer Bub" den Heiligen Stuhl zu Mainz. Er wurde am 2. Juli 1858 in der Nähe der Kirche St. Quintin als Sohn des Rechtsanwaltes und späteren Bezirksgerichtsrates Dr. Heinrich Kirstein und seiner Ehefrau Eleonore, geb. Blank, geboren. Nach Besuch der Marienschule und des Mainzer Gymnasiums trat er 1876 in das Priesterseminar Eichstätt ein, da das Mainzer Seminar infolge des Kulturkampfes geschlossen war. Als Seelsorger wirkte er, nachdem er im Jahr 1880 zum Priester geweiht worden war, in Haßloch, Worms und Bürstadt. Nach der Beendigung des Kulturkampfes erhielt er 1887 eine Stelle als Kaplan in der Residenzstadt Darmstadt. Von 1891 bis 1902 war er Pfarrer von Gau-Algesheim.
Bald nach seiner Berufung in das Domkapitel wurde er zum Geistlichen Rat, Domkustos und Regens des Mainzer Priesterseminars ernannt. Diese Ernennung war nicht unproblematisch, da damit die Dozentur für Pastoraltheologie verbunden war. Kirstein, der keine der erforderlichen akademischen Qualifikationen erworben hatte, erfüllte damit nicht die Voraussetzungen, die der hessisch-darmstädtische Staat an einen akademischen Lehrer stellte. Kirsteins Wahl zum Bischof von Mainz nach dem unerwarteten Tode von Bischof Dr. Heinrich Brück am 5.11. 1903 ersparte dem bischöflichen Ordinariat eine mögliche Auseinandersetzung mit der hessischen Regierung. Am 8.2.1904 erfolgte die päpstliche Ernennung zum Bischof. Der populäre Seelsorger wurde unter großer Beteiligung der Bevölkerung am 19. März zum Bischof geweiht.
Bischof Kirsteins Wahlspruch GRATIA ET PAX war nicht nur Leitlinie seines Handelns, sondern entsprach auch seinem verbindlichen und friedfertigen Temperament. Manche haben seine Friedfertigkeit auch als Schwäche und ein Ausweichen vor Problemen gedeutet. Kritisiert wurde vor allem sein Verhalten auf dem 58. Deutschen Katholikentag, der anlässlich des 100. Geburtstags von Bischof Ketteler 1911 in Mainz stattfand. Besonders stark war die Arbeiterschaft vertreten. Sie hatte erwartet, dass Bischof Kirstein als vierter Nachfolger des Arbeiterbischofs Ketteler eine Erklärung zum sogenannten Gewerkschaftsstreit abgeben würde. Etwa seit 1900 standen sich zwei Richtungen der gewerkschaftlich organisierten Arbeiterschaft gegenüber: die Berliner und die Köln-Mönchengladbacher. Die Berliner waren einem patriarchalischen und vormodernen Kirchen- und Gesellschaftsbild verpflichtet. Sie lehnten Streiks und gemischt konfessionelle Gewerkschaften ab und bestanden auf der priesterlichen Leitung der Arbeitervereine. Die Rheinländer vertraten genau die gegenteilige Position. Bischof Kirstein hielt zwar eine schöne und erbauliche Ansprache, mahnte zu Einigkeit und verhielt sich neutral. Aber er war kein politischer Bischof wie Ketteler, sondern blieb auch als Bischof vornehmlich Seelsorger, der, wo dies immer möglich war, den unmittelbaren Kontakt zum Kirchenvolk suchte und die Menschen mit seinen Predigten emotional anzusprechen verstand.
Er war ein engagierter Förderer des katholischen Vereinswesens. Während seiner Amtszeit wurde der Diözesanverband der Jugendvereine (1907) gegründet und eine Jugendseelsorgekonferenz regelmäßig einberufen. Er richtete 1909 das Dombauamt ein und übertrug ihm die Sicherung und Sanierung des Domes.
Im Ersten Weltkrieg versuchte er, soweit dies seine Kräfte und Möglichkeiten zuließen, die Not zu lindern und den Leidenden Trost zu spenden. Die Revolution und die Abdankung des Kaisers und der deutschen Landesfürsten berührte auch die Stellung der Kirche im Reich und in den Ländern. Das Bistum Mainz war insbesondere betroffen, da das linke Rheinufer und damit Mainz und Rheinhessen von französischen Truppen besetzt wurden. Hohe Vertreter der Besatzungsmacht und ein französischer Militärbischof residierten in Mainz. Bischof Kirstein blieb in seiner Kathedralstadt. Im Volksstaat Hessen, wie das Großherzogtum Hessen-Darmstadt nun hieß, wurde von der demokratischen Landesregierung und dem Landtag das Verhältnis von Staat und Kirche neu definiert und diskutiert. Der schwerkranke Bischof Kirstein war diesen neuen Herausforderungen nicht mehr gewachsen. Sein Generalvikar Ludwig Bendix entlastete ihn zwar von den Alltagsgeschäften, stand andererseits aber der bischöflichen Administration sehr selbstherrlich vor. Zum demokratischen Staat konnte er kein positives Verhältnis entwickeln und brachte die an der Regierung beteiligte Zentrumspartei durch seine kompromisslose Haltung in Verlegenheit. Bischof Georg Heinrich Kirstein starb am 15. April 1921. Er wurde im Dom zu Mainz begraben.