Wikipedia 发布 Wikipedia Talk Labels Toxicity 数据集, 应用在 有毒语言检测、性别研究 领域

Wikipedia 本次发布的数据集 Wikipedia Talk Labels Toxicity, 该数据集包含了超过16万个来自英文维基百科的评论，这些评论被标注了毒性评分以及标注者的人口统计信息。每条评论大约有10位标注者使用明确的毒性类别进行标记。此外，这个语料库在最近的研究中被广泛用于开发深度学习方法以检测有毒语言，并研究标注中的偏见。它提供了标注者的性别信息，这对于分析标注中性别表现的研究至关重要。该数据集的规模超过16万条评论，其任务是对毒性和性别进行分类。

查看Wikipedia Talk Labels Toxicity

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。