哥伦比亚大学 发布 Paparare/toxic_benchmark_2024 数据集, 应用在 自然语言处理、有毒语言检测 领域

哥伦比亚大学 本次发布的数据集 Paparare/toxic_benchmark_2024, Paparare/toxic_benchmark_2024是由哥伦比亚大学Xinmeng Hou创建的一个用于检测有毒语言的综合性标注基准数据集。该数据集包含1942条数据，旨在通过人文研究为基础的规范性标注框架，确保对冒犯性语言的一致且无偏见的标注。数据集的创建过程结合了多源语言模型标注数据，通过小规模统计分析和实验验证了其有效性。该数据集主要应用于自然语言处理领域，旨在解决语言多样性保护和偏见减少的问题，特别是在非主流和非标准语言使用中。

查看Paparare/toxic_benchmark_2024

关于 哥伦比亚大学 , 哥伦比亚大学是一所位于美国纽约市的著名私立研究型大学，以其卓越的学术水平和多元化的校园文化而闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。