微软 发布 SYNTHLLM 数据集, 应用在 数据合成、自然语言处理 领域

微软 本次发布的数据集 SYNTHLLM, SYNTHLLM是一个可扩展的框架，能够将预训练语料库转化为多样化、高质量的合成数据集。该数据集通过自动提取和重组合多个文档中的高级概念，使用图算法在不同领域（如数学推理）生成合成数据。研究结果表明，SYNTHLLM生成的合成数据遵循修正的扩展规律，性能提升在达到3000亿个token后趋于平稳，且大型模型在较少的训练token数下即可达到最佳性能。

查看SYNTHLLM

关于 微软 , 微软是一家总部位于美国华盛顿州的全球知名科技公司。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。