五峰因其周围有鸡鸣、桃花、覆釜、瀑布、固厚五座个性鲜明，各有千秋的山峰而得名。五峰景区的形体特征四句古诗作了形象概括：“岩根壁立拔地起，山城围合如大环，四周独阙中一面，中有平原水如练”。五峰的自然景观不象方岩山那样以雄奇峻险取胜，而以清幽韵味见长，“五峰流韵”就是永康十景之一。自宋以来，这里逐渐形成了文人学士聚会讲习之所。南宋时的陈亮、朱熹、吕东莱等著名学者曾在此讲学授徒、著书立说；明朝的洪垣、甘翔鹏等人为适应儒子求学的需要，创建了泽被后世的五峰书院。故五峰景区以其风景独特，环境清幽成为修养胜地之外，更以其文物荟萃，名人雅士的遗踪胜迹众多，人文景观集中而声名远播。五峰书院位于固厚峰脚的天然石洞中。该地在未建五峰书院前，地名称呼不一：因最早建有寿山寺，一般称之为寿山坑，又因南宋时辟有讲学之所，故称其为读书岩、寿山石洞、寿山石窟、寿山禅堂等等；直至明嘉靖15年（1536年），桃岩丽泽精舍新建成，经金华知府陈京题匾额“五峰书院”后，才始称五峰书院。

现在人们习惯把五峰内的重楼、丽泽祠、学易斋、五峰书院等岩洞建筑统称为“五峰书院”。五峰书院以院为祠，每年重阳祀三贤，次日祀四子，三日祀诸儒，因之远近墨客骚人来者云集，素有江南小邹鲁之称。1997年，五峰书院批准公布为浙江省重点文物保护单位。