Wikipedia 发布 Wikipedia Dump (Filtered) 数据集, 应用在 自然语言处理、词嵌入 领域

Wikipedia 本次发布的数据集 Wikipedia Dump (Filtered), 该数据集是对2013年维基百科数据转储的筛选版本，包含了至少有20次页面浏览的页面，用于训练词嵌入。原始文本已经按照附录中概述的方法进行了预处理。该数据集的规模为463,000个文档，包含约4.98亿个单词，其任务是进行词嵌入训练。

查看Wikipedia Dump (Filtered)

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。