遠見番所は江戸時代の鎖国政策の一環で、姫島（志摩町）、西浦（西区）、相島、大島（宗像市）、岩屋（若松区）の五ヶ所に設置され、異国船の来航を厳しく監視していました。相島の遠見番所は玄海灘から対馬海峡がよく望める島の西端の通称高山（標高77m）に建てられていました。現在も、当時の石垣が残り、横には灯台が建てられています。