南雁会文书院位于平阳县南雁荡山风景东洞华表峰下。相传为宋时北港鹤溪陈经邦（徽宗大观三年进士）、经正兄弟读书处。二人受业程颢、程颐门下，为洛学传入平阳之始，其后书院废圮，仅存旧址。
现书院为清光绪九年（1883）邑令汤肇熙倡议重建，坐东南朝西北，环境幽雅，风光秀丽，五间木结构楼房，重檐歇山顶，院前有花坛园圃，楼上有坐槛，中县汤肇熙题写“高山仰止”匾额，柱间有孙锵鸣，吴承志等名流撰书楹联。入口为东天门天然岩洞，门台用青石构建，门楣上嵌“会文书院”青石横额，两侧有孙衣言撰书，“伊洛微言持敬始，永嘉前辈读书多”名联。
门台右首毗邻棣萼世辉楼，楼原在溪对岸西山下，宣统二年（1910）移建今址，楼屋二间，青砖砌筑，上悬郑孝胥题署“棣萼世辉楼”匾额。两侧有启蒙思想家宋恕（后改名宋衡）撰“不分新旧唯求益，兼爱自他所谓公”行书对联，1986年列为平阳县第一批文物保护单位。
