Romalıların Bilecik ve civarında hüküm sürdüğü dönemde yaptırılan Merdivenli Kaya ise bölgenin ne denli eski bir yerleşim olduğunu gözler önüne serer nitelikte. Yerden yükselen basamaklarıyla ilgi çeken yapı, eskiden beri burada araştırma yapan defineciler tarafından kısmen tahrip edilse de halen görülmeye değer.