在尤溪县城南的公山之麓，原为邑人郑义斋馆舍。北宋宣和五年（1123年），朱熹之父朱松任尤溪县尉，去官后寓居于此。南宋建炎四年（1130年），朱熹在此诞生。朱熹逝世后，县令李修于嘉熙元年（1237年）捐资在此修建文公祠、韦斋祠、半亩方塘和尊道堂等建筑，祀朱家父子。宝元年（1253年），宋理宗赐额“南溪书院”。元至正元年（1341年），分建二祠，明清后屡有修缮扩建。
书院古朴庄严，现建筑面积1000平方米，有韦斋祠、观书第、毓秀坊、毓秀亭等建筑。正堂当中立朱熹石膏塑像，两旁是朱子手书板联四幅：“读书起家之本 和顺齐家之本 勤俭治家之本 循理保家之本”。四壁高悬其上溯八代列祖列宗画像。
书院内的方塘，为朱熹幼年读书处。朱熹《观书有感》诗曰：“半亩方塘一鉴开，天光云影共徘徊；问渠那得清如许，为有源头活水来”。其中的“半亩方塘”即指此处。明弘治十一年（1498年），知县方溥主持，把半亩方塘扩大浚深，并建亭于塘上，通以石桥，取名“活水亭”，今皆修复。
书院左侧有古樟2株，枝干参天，高30多米，树围分别为10.8米和7.8米，相传为朱熹幼时所植，人称“沈郎樟”（沈郎为朱熹乳名）。1987年，当地政府将此地辟为公园，面积1600多平方米。
附近还存有朱熹于宋乾道七年（1171年）回尤溪时手书、民国初年翻刻的“韦斋旧治”石碑，碑长约2米，宽0.7米，笔力雄劲，笔势飞逸。
明、清两代都修有《南溪书院志》。
