L'église a été construite au XIIIe siècle. Le 6 avril 1548, l'église d'Ailly-le-Haut-Clocher fut le théâtre d'un événement tragique : la nef où s'étaient réfugiés des habitants du village fut incendiée par la soldatesque qui y avait massacré 130 personnes.
Son clocher terminé par un toit en flèche effilée recouverte d'ardoises, a servi au XVIIIe siècle comme point de repère lors de mesurages pour la réalisation de la carte de Cassini.
L'église est protégée au titre des monuments historiques : classement par arrêté du 1er avril 1910. Pendant la Seconde Guerre mondiale, l'armée allemande établit un poste d'observation en haut du clocher et y installa une mitrailleuse de D.C.A.