谷歌AI语言 发布 WikiAtomicEdits 数据集, 应用在 自然语言处理、数据集 领域

谷歌AI语言 本次发布的数据集 WikiAtomicEdits, WikiAtomicEdits是由谷歌AI语言团队创建的多语言数据集，包含4300万条来自8种语言的维基百科编辑记录。这些编辑记录包括人类编辑插入或删除单个连续短语的实例。数据集的创建过程涉及从维基百科的历史快照中提取句子级别的编辑，并通过高效的算法进行处理。WikiAtomicEdits数据集特别适用于研究语义、话语和表示学习，旨在通过分析编辑过程中的语言变化，提供不同于标准语料库的语义和话语信号。

查看WikiAtomicEdits

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。