东京大学 发布 M2D2 数据集, 应用在 语言模型、转移学习 领域

东京大学 本次发布的数据集 M2D2, M2D2是由东京大学和华盛顿大学合作开发的大规模多域语言建模数据集，包含85亿个令牌，覆盖145个领域，主要从维基百科和Semantic Scholar提取。数据集通过维基百科和ArXiv的分类学进行组织，形成两级层次结构，便于研究领域间的关系及其对模型适应性的影响。M2D2特别适用于研究语言模型在不同领域间的转移学习，尤其是在细粒度领域间的适应性。该数据集的开发旨在解决语言模型在多样化数据分布下的性能问题，并探索如何有效适应新领域。

查看M2D2

README 内容： 

关于 东京大学 , 东京大学是日本最古老、最有声望的研究型国立大学，以其在多个学术领域的卓越研究与教育而闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。