Le origini di questa chiesa sono da mettere in relazione con il passaggio da Anghiari di Tommaso Becket, Arcivescovo di Canterbury.   

Gli Spedalieri di Sant'Antonio Abate che lo accompagnavano ottennero (1164) da Rolando da Montedoglio (abate di San Bartolomeo) le "Carbonaie" del castello, fuori le mura. Successivamente nel 1188 la piccola comunità monastica sarebbe passata alla Regola di Sant'Agostino.  

Nel 1468 la Chiesa fu ampliata e nel 1748 fu restaurata l'abside quattrocentesca.  

Ogni anghiarese ricorda con rimpianto il bel trittico dipinto da Matteo di Giovanni (1430-1495), trafugato nel 1994, ove erano raffigurati la Vergine in trono con in braccio il Bambino (parte centrale), San Francesco d'Assisi, San Damiano, Sant'Agostino vescovo e Sant'Antonio Abate (parti laterali). Nel coro una terracotta policroma rappresenta la Natività.  

Questa chiesa ha avuto inoltre un ruolo molto importante per la vita sociale e civile di Anghiari.