发布 Proxy Models Dataset 数据集, 应用在 机器学习、语言模型优化 领域

本次发布的数据集 Proxy Models Dataset, 该数据集是通过在包含1亿个标记的不同数据混合上训练小型代理模型（每个模型拥有100万个参数）而生成的。它反映了广泛的数据混合范围，包括每个领域从0%到100%的极端权重，确保了基于标记分布的统计代表性。这些小型代理模型（拥有100万个参数）在1亿个标记上进行训练，其任务是回归分析，旨在优化数据混合，以提高语言模型的性能。

查看Proxy Models Dataset

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。