Die Gemeinde von Kaulbach gehörte bis zur Reformation der Pfarrei Zweikirchen als Filiale an, danach wurde sie in die Pfarrei Rothselberg eingemeindet. In der Zeit von 1746 bis 1804 besaß Kaulbach einen eigenen Pfarrer. Der Ort Kreimbach war bis 1732 eine Filiale von Katzweiler, doch später gehörte auch sie der Pfarrei Rothselberg an. 

Die, auf dem Horetsberg befindliche, protestantische Kirche wurde inmitten eines alten Friedhofs erbaut und war ursprünglich dem Erzengel Michael geweiht. Zu dieser gehört ein dreigeschossiger Chorturm, welcher vermutlich aus dem Jahr 1490 stammt. Gegliedert wird der Turm durch ein Kaffgesims, der rippengewölbte Chorsaal wird durch ein spitzbogiges Maßwerkfenster erhellt. Diesem schließt sich ein Sakramentshaus im Norden an, zu dem ein Lavabo gehört. Über dem Chorraum befindet sich ein Zwischengeschoss, das einen Schlitz als Fenster aufweist und darüber ist das Glockengschoss, was mit einem Satteldach bedeckt ist und durch zwei gekoppelte, spitzbogige Fenster beleuchtet wird.

Nachdem das ehemalige Langhaus im Jahr 1870 niedergebrannt war, wurde in dem Zeitraum von 1872 bis 1874 ein neues Langhaus nach den Plänen des Bezirkbauschaffners Johann Schmeisser errichtet. Das Sandsteingebäude wird durch hohe Spitzbogenfenster erhellt. Durch ein Portal in der westlichen Giebelwand gelangt man in den Innenraum, der mit einer flachen Balkendecke und einer Orgel aus dem Jahr 1875 ausgestattet ist.