据《广信府志》介绍：“大义寺左为四贤词。”此实为大义寺的附属寺左，即仁寿寺左，为“四贤祠”。祠为当时的信州刺史杨汝砺所建，这是鹅湖书院之始。以后屡有修举，明代宸濠之乱，兵燹之余，鹅湖书院的学舍全部毁坏。清康熙二十二年(1683)，地方官潘士瑞曾予修理。康熙五十四年(1715)，令尹施德大加修建，当时李光地所作《重修鹅湖书院记》说：“书院之建，实为国家学校，相为表里，李渤高士尔。朱子犹倦焉。今使先贤遗址，焕然重修，江有故理学地，必有游于斯，而奋乎兴起，以绍前贤者。”鹅湖书院绝有官方的支持得以重修，昔日的辉煌已不复再现，以致成为历史的陈迹。
鹅湖书院在鹅湖寺，即仁寿寺的左边，而鹅湖塔则在鹅湖书院的左边。鹅湖书院的大门，不在正中，而在左面，所以正对着鹅湖塔。书院四周有山有溪，环境幽雅。鹅湖书院比鹅湖寺大得多，建筑规模颇似孔庙。由大门进去，经过两排桃树，有一个大圆门，圆门内有一个大院子，对面又是一个大圆门，上面是三排殿宇，由此登石阶而入，又是一个院子，里面是半月池，池周围是石栏杆。渡过古桥是第一排殿宇，再过一个院子，是第二排殿宇，其最后一排殿宇，是四贤祠。祠前也是一个院子，祠后则是一个相当高的坪台，其下有一小池，其后是一座高墙，正对那两大圆门的北端高墙。这三排殿宇是主屋。在主屋两旁，又是一排一排的房屋，错落有致。在鹅湖书院后面的四贤词内，设有朱、吕、二陆四个牌位，又有一个题着“顿渐同归”字样的匾额，这和书院前排建筑中所悬“道学之宗”的御匾，正遥遥相对，由此可见宋代朱陆鹅湖之会的盛况。抗日战争期间，鹅湖书院成为东南训练团的驻扎营地。
这所书院，自南宋至清代，八百多年来，几遭兵毁，又几次重建。其中尤以清代康熙五十六年(公元1717年)整修和扩建工程规模最大：新筑山门、牌坊、大堂、浮池、拱桥、碑亭、御书楼；两侧更修建厢房数十间，作为士子读书之所。康熙皇帝还为御书楼题字作对，门额题为“穷理居敬”，联语为“章岩月朗中天镜，石井波分太极泉”。至今牌坊、泮池、后殿、厢房等建筑保留尚完好；泮池两侧的厢房内，尚存明、清两代古碑13块，是研究这座书院历史的珍贵资料。
