1950年成立县人民文化馆，1952年10月更名为县文化馆，以街房为临时馆舍，主要负责全县群众文化工作。1979年上级拔款在沐溪镇建设街建成一幢两楼一底的文化馆。 1985年底有副馆长1人（馆长由文化局副局长兼任），职工9人。1987年建成273平方米的活动室。1989年文化馆被市文化局、市财政局评为以文补文先进单位，馆长聂清顺被评为以文补文先进个人。1993—1997年开展文化茶楼、音乐茶座、乒乓球、台球、棋牌、等活动项目，为社会开放并提供服务；投资18万元新建文化馆住宿楼、改造维修活动室、办公楼和添置文化设施。2001年按政府要求拆迁文化馆办公活动场地。2001年—2004年办公场地暂借用县体校进行办公。2005年搬进新建文化中心大楼办公，拥有多功能活动大厅、舞蹈排练厅、文学创作室、书画创作室、书画摄影展厅、综合活动室、会议室、艺术培训中心等工作和活动厅室。