Kars Kalesinin güney eteğinde Kale İçi Mahallesinde yer alan Havariler Kilisesi, Ermeni kiliselerinden birisi olup Bagratlı Krallığı döneminde Kral Abbas tarafından M.S. 932-937 yılları arasında yaptırılmıştır. Kilisenin yapısını dört yapraklı yoncayı anımsatmaktadır.