Als Kohl 1959 in den Landtag gewählt wurde, regierte Peter Altmeier (1899 – 1977) bereits seit 1947 als Ministerpräsident und hatte weitreichende Unterstützer in der CDU. Kohl war mit 30 Jahren einer der jüngsten Abgeordneten und konnte zum Unmut von Wilhelm Boden, dem Vorsitzenden der Landtagsfraktion, dem Haushalts- und Finanz-Ausschuss beitreten.

Kohl hatte besonderes Interesse an der Bildungspolitik, da in Rheinland-Pfalz dank verfassungsrechtlicher Stützung katholische Konfessionsschulen das Schulwesen dominierten. In der Verfassung wurde die christliche Erziehung spezifisch hervorgehoben und zwei Arten von Volksschulen festgelegt: einerseits Bekenntnisschulen, bei denen der Unterricht auf Grundsätzen des jeweiligen Bekenntnisses basiert, anderseits Simultanschulen mit christlicher Erziehung, aber ohne eine Pflicht zu dem Bekenntnis. Die Zulassung von Bekenntnisschulen wurde insbesondere von der SPD als Fehler wahrgenommen. Auch Kohl sah in den Konfessionsschulen ein großes Problem, einerseits als Bildungsnachteil für Schüler in Rheinland–Pfalz aufgrund von kleineren ineffizienten konfessionsgebunden Dorfschulen und andererseits, weil die Oppositionsparteien mit ihrer Kritik an den Schulen bei der Bevölkerung punkteten. Das Thema der Konfessionsschulen brachte die CDU in den folgenden Jahren in Konflikt zu den Oppositionsparteien, jedoch wehrten sich viele der älteren CDU-Abgeordneten und insbesondere Altmeier gegen eine Reform. Gleichzeitig erschwerte deren Standpunkt zu den Konfessionsschulen die Koalitionsbildung insbesondere mit der FDP, was Kohl als Gefahr für die CDU sah. [Anm. 2] Kohl konnte dem kulturpolitischen Ausschuss trotz des Widerstandes von Altmeier beitreten.

Die Uneinigkeit zwischen Kohl und Altmeier zeigte sich u.a. bei der Wahl 1961 für die Position des stellvertretenden Fraktionsvorsitzenden nach dem Tod von Wilhelm Boden. Kohl musste in der Wahl gegen den von Altmeier vorgeschlagenen Kandidaten Heinz Korbach antreten. Kohl gewann die Wahl knapp und wurde zum stellvertretenden Fraktionsvorsitzenden. [Anm. 3]

Den Höhepunkt seiner jungen Karriere erreichte er dann 1963 mit der Wahl zum Fraktionsvorsitzenden der CDU in Rheinland-Pfalz. Die Aufgabe dieser Position war es eigentlich, andere Mitglieder der Partei von der Parteilinie zu überzeugen und grundsätzlich die Regierung gegen die Opposition zu verteidigen. [Anm. 4] Kohl nutzte diese Position jedoch auch dafür, um die für ihn essenziellen Reformen einzuleiten.

Kohl konnte dank seiner neuen Rolle ein breites Netzwerk an Verbündeten gewinnen. Dies erlaubte ihm, in den unterschiedlichsten Bereichen aktiv zu sein, Einfluss auszuüben und eine politische Richtung vorzugeben. Seine Position als Fraktionsvorsitzender nutzte Kohl nun, um zwei wichtige Erneuerungen in die Wege zu leiten. Als die CDU bei den Landtagswahlen im Jahr 1963 die absolute Mehrheit verlor, sah Kohl die Möglichkeit, die Bildungsreform trotz des Widerwillens der älteren Mitglieder einzuleiten. Die Reformen zielten auf eine Erneuerung der Lehrerausbildung und der Volksschule ab und sollten dabei Einschränkungen im Bezug auf die Bekenntnisse aufheben. Demnach wäre es nicht mehr relevant, in welchem Bekenntnis die Lehrer:innen geschult wurden und würde auch verhindern, dass Schulen nur Kinder mit einem bestimmten Glauben aufnehmen beziehungsweise priorisierten. Nebenbei wurde als Kompromiss der konfessionelle Fokus auf Privatschulen gelenkt und diese wurden neu strukturiert und finanziert. [Anm. 5]Auch wenn diese Schritte das Angriffspotenzial der Opposition schwächten, wollte Kohl einen Streit in den eigenen Reihen vermeiden. Die Unterstützung der Konfessionsschulen hatten Altmeier und der CDU für lange Zeit eine katholische Basis gesichert. Kohl wollte nicht den Schein erwecken, dass in einem Versuch, die Opposition zu entkräften, die katholischen Schulen geopfert würden. Vielmehr argumentierte Kohl, die Bildungsmöglichkeiten der Schüler in Rheinland-Pfalz zu verbessern, und machte dies an der damals schlechteren Leistung der Schüler:innen im Vergleich zu anderen Bundesländern dar.  

Neben dem Bildungswesen engagierte sich Helmut Kohl insbesondere für eine Reform der Verwaltung. Aufgrund der Entstehung von Rheinland-Pfalz aus den unterschiedlichen Herrschaftsgebieten von Preußen, Hessen und Bayern gab es grundlegende Unterschiede in der Verwaltungsstruktur und dem Verwaltungsrecht der jeweiligen Provinzen. [Anm. 6]Infolgedessen litt durch diese unterschiedlichen Strukturen die bürokratische Effizienz und hatte auch höhere Personalkosten zur Folge. Kohls Ziel war nun, ein einziges Landesrecht zu etablieren und ein neues Gemeindeverfassungsrecht zu schaffen. Verwaltungsreformen dieser Größe waren unbeliebt und konnten meist nur infolge externer Faktoren wie in Krisenzeiten problemlos durchgeführt werden. Um die Wähler nicht zu verärgern, versuchte Kohl daher Diskussionen über das Ausmaß der Verwaltungsreform so lang wie möglich zu vermeiden. Bis zur Kommunalwahl 1969 sollte die Reform feststehen. Dafür wurde die Einheit der Verbandsgemeinde zur Stärkung der Ortsgemeinde eingeführt: Dadurch wurden bereits existierende kleine Gemeinden miteinander verbunden. Die Anzahl der Regierungsbezirke und Landkreise verringerte sich im Laufe der Reformen erheblich. [Anm. 7] Zwar war dies nicht das Ende der Reform, da in den folgenden Jahren noch weitere Gesetze beschlossen wurden, jedoch konnte Kohl damit eine der schwersten und wichtigsten Änderungen noch vor seinem Antritt als Ministerpräsident in den Weg bringen. 

In den späten 1980er Jahren kam es in der DDR immer wieder zu Unruhen, welche unterdrückt wurden. Als jedoch der neue Generalsekretär der kommunistischen Partei in der Sowjetunion, Michail Gorbatschow, 1985 angedeutet hatte, dass Ostblockstaaten politisch ihren eigenen Weg gehen könnten, entfachten in den Ostblockstaaten wieder Proteste. Im Jahr 1989 versuchten Bürger:innen der DDR über Ostblockstaaten wie Ungarn oder Tschechien zu fliehen.

Zu der Zeit versuchte Kohl Gorbatschow zu überzeugen, dass die BRD nicht an einem Chaos in der DDR interessiert sei. [Anm. 10] Kohl wünschte sich zwar die Wiedervereinigung, jedoch war zu der Zeit das Eskalationspotenzial zu groß. Die Lage wurde weiterhin beobachtet, um die Reaktion der Sowjetunion und der SED zu den Demonstrationen und Flüchtlingen einzuschätzen.

Nach dem Fall der Mauer am 9. November 1989 und einem Bekenntnis von Gorbatschow zur Unabhängigkeit der Ostblockstaaten, erkannte Kohl, dass eines seiner größten Ziele erreichbar war. Neben der DDR und Sowjetunion mussten auch die westlichen Partner vor allem in Europa von der Wiedervereinigung überzeugt werden. Denn selbst wenn eine grundsätzliche Vereinigung möglich wäre, war nicht klar, wie diese genau aussehen könnte. Allein die Mitgliedschaft in der NATO hätte zu einem Konflikt mit der Sowjetunion führen können, was die westlichen Partner vermeiden wollten. Gleichzeitig würde ein vereintes Deutschland eine größere Rolle in Europa spielen, was wiederum insbesondere die britische Premierministerin Margaret Thatcher als Problem sah. [Anm. 11] Kohl musste viele überzeugen und handelte in einigen Fällen, insbesondere in Bezug auf die DDR, ohne Besprechungen mit Partnern wie bei dem 10-Punkte-Programm oder der Empfehlung, die deutsche Mark in der DDR in einem 1:1 Verhältnis einzuführen.