发布 WikiSection 数据集, 应用在 维基百科、自然语言处理 领域

本次发布的数据集 WikiSection, 该数据集包含了与全球城市相关的维基百科文章，这些文章来源于维基百科的数据库转储。每篇文章中的文本段落都被标注了相应的章节类别和字数。为了提高模型的适用性，在训练过程中对数据集进行了预处理，并排除了与章节相关的信息。该数据集的规模包括训练集中的2,165篇文章和测试集中的658篇文章，这些文章被分为4个不同的章节类别。任务是对文本的连贯性进行评估。

查看WikiSection

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。