胡廷森，字衡之，号西棽，生于康熙五十七年(1718)。乾隆三十六年(1771)，八岁的阮元告别姑父贾天宁，师从胡廷森。因此胡廷森是阮元的启蒙老师之一。胡廷森久居幕僚，精通吏事，熟悉刑律，了解经济之学。许多封疆大吏延聘他出任幕僚。他主掌刑名，古道照人，练于时务。胡廷森因为精通刑律，年过五十还没有生子。有人说:“掌刑者艰于嗣。”胡廷森说:“我们儒生，想活人，但手上没有尺寸权力。所以辅佐他人时，在执掌刑律中求嗣。”所以他在治理刑法时，以仁辅义。胡廷森年五十后方得子，于是杜门却聘，与故里曾任岳常澧道台秦黉(字序堂)和曾任安徽太平府知府的沈业富(字方谷，号既堂)等老友娱游林泉，杖履吟咏，有香山之风。为儿子取名胡德生，以志对上苍老来赐子的感谢。