据《广信府志》介绍：“大义寺左为四贤词。”此实为大义寺的附属寺左，即仁寿寺左，为“四贤祠”。祠为当时的信州刺史杨汝砺所建，这是鹅湖书院之始。

以后屡有修举，明代宸濠之乱，兵燹之余，鹅湖书院的学舍全部毁坏。清康熙二十二年(1683)，地方官潘士瑞曾予修理。康熙五十四年(1715)，令尹施德大加修建；鹅湖书院虽有官方的支持得以重修，昔日的辉煌已不复再现，以致成为历史的陈迹。

在鹅湖书院后面的四贤词内，设有朱、吕、二陆四个牌位，又有一个题着“顿渐同归”字样的匾额，这和书院前排建筑中所悬“道学之宗”的御匾，正遥遥相对，由此可见宋代朱陆鹅湖之会的盛况。抗日战争期间，鹅湖书院成为东南训练团的驻扎营地。

这所书院，自南宋至清代，八百多年来，几遭兵毁，又几次重建。其中尤以清代康熙五十六年(公元1717年)整修和扩建工程规模较大；康熙皇帝还为御书楼题字作对，门额题为“穷理居敬”，联语为“章岩月朗中天镜，石井波分太极泉”。至今牌坊、泮池、后殿、厢房等建筑保留尚完好；泮池两侧的厢房内，尚存明、清两代古碑13块，是研究这座书院历史的珍贵资料。