Günümüzden çağlar öncesinde beldede yaşayan Likyalılar tarafından yaptırılan mezarlar, Kaleköy gezilerini enteresan kılan başlıca detaylardan. Tüm dünyanın bir gün sular altında kalacağına inanan Likyalılar, bu nedenle mezarlarını ters gemi şeklinde inşa ettiler. Yine o dönemde yaygın olan inanca göre mezarların içine para da atılıyordu. Böylece hayatını kaybeden kişilerin bu paraları onları cennete taşıyacak gemiye verdikleri düşünülüyordu.