"L'église romane primitive fut construite à partir du XIe siècle, les travaux se poursuivant jusqu'au XIIIe siècle. En 1350, des États Généraux réunis à Pont-Audemer décidèrent de remplacer ce premier édifice devenu trop exigu au fil des ans au regard de la population. Cependant, la survenue de la guerre de Cent Ans empêcha le démarrage des travaux qui ne fut effectif qu'à la fin du XVe siècle.
On commença par abattre la nef en conservant le transept et le chœur ; la construction du portail, de la tour Nord et de la base de la tour Sud semble avoir débuté vers 1485 sous la direction de Michel Gohier. Une nouvelle nef avec ses bas-côtés et les chapelles latérales fut élevée de 1505 à 1515 par Roulland le Roux, architecte rouennais auteur du portail principal de la cathédrale de Rouen et du bureau des finances de la même ville. Des difficultés financières firent suspendre les travaux de façon provisoire en 1524 : la nef qui n'avait pas encore atteint la hauteur projetée fut couverte d'une voûte en bois et raccordée à l'ancien chœur ; de fait, les travaux ne furent ensuite jamais repris.
En 2015 commencent des travaux de restauration prévus pour plusieurs années et nécessités par la dégradation de la pierre : l'édifice est fermé au culte. Le budget est de près de 2,5 M€ HT, supportés par la ville de Pont-Audemer avec la participation de la DRAC et du Conseil Départemental.
L'édifice comprend une nef de sept travées, flanquée de bas-côtés avec chapelles latérales (style gothique), un chœur de style roman en fort contraste avec la nef, et une chapelle absidiale. Un transept avait été ébauché mais jamais poursuivi, dont on devine l'emplacement de l'extérieur, d'où se voit aussi la tour-lanterne de l'édifice originel.
La nef, jamais terminée, comporte un étage de grandes arcades aux piliers sans chapiteau, un triforium extrêmement ouvragé, surmonté d'une rangée de petites fenêtres conçues pour être provisoires, et « dont la pauvreté est rendue plus sensible par la richesse des étages inférieurs ». La couverture est une voûte en bois, dans l'attente d'un étage de grandes fenêtres et d'une voûte définitive en pierre, qui ne furent jamais réalisées. Les parties intérieures du vaisseau et notamment le triforium constituent néanmoins un exemple saisissant de gothique flamboyant."