Az Eger-patak völgyében, több mint hétszáz éves kistelepülés fölötti sziklaszirten áll a várrom. Első okleveles említése 1295-ből való. Az országgyűlés 1545-ben elrendelte a vár lerombolását, de a határozatot nem hajtották végre. 1549-ben Dobó István egri várkapitány fennhatósága alá került. Amikor 1596-ban Eger elesett, a szarvaskői vár a törökök kézére jutott. A Rákóczi-szabadságharc idején már várkastélyként működött. Később hadi szerepe megszűnt, karbantartásával nem törődtek, így teljesen elpusztult. A falmaradvány kevés, de a gyönyörű kilátás miatt jelenleg kilátóként működik.