Fırat Nehri ile Merzimen Çayı’nın bir araya geldiği noktada yüksek kayaların bulunduğu tepe üzerinde konumlanan Rum Kalesi, Antik Dönem’den günümüze kadar birçok farklı isimlerle anılmış. Sitamrat, Kal-a Rhomayta, Hromklay, Kal-at el Müslimin ve Kale-i Zerrin gibi adları olan Rumkale’de bulunan mimari yapılar Geç Roma ve Orta Çağ dönemlerinden kalmış. Roma İmparatorluğu’nun egemen olduğu yıllarda Hz. İsa’nın havarisi Yohannes, bu kalede yaşamaya başlamış ve Hıristiyanlık dinini buradan yaymış. Bu nedenle Hıristiyanlık dini için Rum Kalesi önemli bir yer kaplıyor. Yavuzeli ilçesine 25 kilometre uzaklıktaki Kasaba Köyü ya da Halfeti ilçesinden teknelerle ulaşabileceğiniz kalede bulunan Aziz Nerses Kilisesi ve Barşavma Manastırı’nı görebilirsiniz.