Inmitten des Poltersdorfer Ortsgebiets befindet sich die Katholische Kirche St. Andreas. Während die erste Kapelle in Poltersdorf bereits Anfang des 14. Jahrhunderts gestiftet wurde, stammt die heutige St. Andreas-Kirche aus den Jahren 1950/52. Der spätgotische Westturm mit Klangarkaden und Spitzhelm hingegen stammt vermutlich aus dem 15. Jahrhundert und erhielt im Jahr 1509 seine charakteristische spitzbogige Durchfahrt. Der Turm aus verputzten Bruchsteinen prägt heute nicht nur die Kirche, sondern ist auch das Wahrzeichen von Poltersdorf.

Im Jahr 1308 stiftete Ritter Emmerich von Monreal bei seinem Gutshof in Poltersdorf eine Kapelle mit einem Altar, der dem Heiligen Andreas geweiht war. Diesen Altar dotierte er mit einem von der Pfarrei Ellenz unabhängigen Benefizium von 9 Ohm Wein und 6 Maltern Korn, für die der Priester eine Wochenmesse und zwei jährliche Predigten am Fest des Heiligen Andreas (30. November) und dem ersten Adventssonntag zu halten hatte. Die Seelsorge des Dorfes oblag weiterhin dem Priester der Pfarrei Ellenz, der Poltersdorf als Filiale angehörte. Der Benefiziat durfte daher ohne die Erlaubnis des Ellenzer Priesters keine Sakramente spenden oder Opfergaben sammeln. Wann genau der etwas schief an die Westwand der Kirche angebaute Westturm entstand, ist nicht überliefert. Vermutlich wurde er jedoch im 15. Jahrhundert in spätgotischen Formen errichtet, möglicherweise bei der Anschaffung der ehemaligen Gemeindeglocke aus dem Jahr 1457 zusammen.

Im Jahr 1509 ließen die Monrealer die einschiffige Andreaskapelle mit der Unterstützung des Trierer Erzbischofs Jakob II. von Baden (1471–1511) umbauen. Die Kapelle wurde in spätgotischen Formen umgestaltet und der Chor erhielt ein Kreuzgewölbe, während es beim Kirchenschiff bei einer hölzernen Flachdecke blieb. In einem Vierblatt-Schlussstein am Turm findet sich heute noch das Wappen von Jakob II. von Baden. Der Westturm erhielt vermutlich im Zuge der Umbauarbeiten seinen spitzbogigen Straßendurchgang und bildet mit dem benachbarten Gymnicher Hof ein bemerkenswertes Ensemble.

Das Geschlecht der Herren von Monreal starb um 1600 aus, woraufhin Erzbischof Lothar von Metternich (1551–1623) ihren Besitz an seine Neffen, Wilhelm und Lothar von Metternich verlieh. Die Brüder überließen die Kirche und den Monrealer Hof an das, von ihnen gegründete, Karmeliterkloster in Beilstein, das nun als Benefiziat der Kirche agierte. Es kam daraufhin zum Streit, als die Mönche versuchten den Unterhalt der Kapelle der Gemeinde Ellenz-Poltersdorf zu übertragen, woraufhin der Pfarrer von Ellenz die Hostien und den Messwein für die Poltersdorfer Kapelle verweigerte. Am 7. Februar 1677 brannten das Dach der Kirche und ein benachbartes Wohnhaus ab. Eine Inanspruchnahme der Ellenz-Poltersdorfer Gemeinde konnte jedoch abgewehrt werden, sodass der Schaden durch das Karmeliterkloster beseitigt wurde. Das Kloster wurde 1808 unter französischer Herrschaft aufgelöst, woraufhin die Andreaskapelle als Filialkirche der Kirchengemeinde Ellenz weitergenutzt wurde.

Nachdem die Kirche für die steigende Zahl von Gläubigen zu klein geworden war, wurde 1929 ein Neubau beschlossen und ein Kirchbauverein gegründet. Wegen der offen antinationalsozialistischen Einstellung der Pfarrgemeinde ließ die Gestapo 1939 das angesparte Vermögen des Vereins in Höhe von mehr als 30.000 RM beschlagnahmen. Nach dem Ende des Zweiten Weltkrieges begann man dennoch direkt nach der Währungsreform mit neuen Planungen für einen Neubau. Nach Plänen des Architekten Walter Miesges aus Wiesbaden begann man am 18. Mai 1950 mit dem Bau des neuen Kirchenschiffes, während der historische Kirchturm erhalten bleiben sollte. Finanzierungsschwierigkeiten zwangen die Gemeinde jedoch zu Hilfeanfragen, sodass etwa der französische Hohe Kommissar André François-Poncet sowie Bundeskanzler Konrad Adenauer den Bau mit Spenden unterstützten. Der Neubau, der an der Westfront eine gotische Fensterbekrönung wieder verwendete, konnte am 8. Oktober 1952 eingeweiht werden.

Heute ist die Poltersdorfer Kirchengemeinde als Filiale von Ellenz Teil der Pfarrei Moselkrampen und dem Pastoralraum Cochem-Zell im Bistum Trier.