发布 MassiveDS 数据集, 应用在 自然语言处理、语言模型 领域

本次发布的数据集 MassiveDS, 该数据集名为MassiveDS，包含了1.4万亿个标记，融合了特定领域数据和通用网络数据，旨在为基于检索的语言模型提供服务。该数据集不仅包括了来自专业领域的特定领域数据，还包含了广泛的网络数据，并提供了一个有效的数据存储扩展研究流程。其规模达到了1.4万亿个标记，适用于语言建模和知识密集型任务。

查看MassiveDS

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。