天河天元

天河天元是国家超算天津中心搜集整理了网页数据、各种开源训练数据、中文小说数据、古文数据、百科数据、新闻数据，以及专业领域的中医、医药、问诊、法律等多种数据集，训练数据集总 token 数达到 350B，最终训练打造出的中文语言大模型。