韩国大学 发布 K/DA 数据集, 应用在 自然语言处理、语言净化 领域

韩国大学 本次发布的数据集 K/DA, K/DA 数据集是一个包含约 7.5K 个中性-毒性配对的韩语数据集，旨在帮助训练语言净化模型。该数据集由韩国大学、首尔国立大学和 KAIST AI 共同创建，通过自动化流程生成，涵盖了显式侮辱、隐含侮辱及其变体等多种形式的侮辱性语言。数据集采用 Retrieval-Augmented Generation (RAG) 技术生成，并经过筛选以确保数据质量和多样性。该数据集适用于多种语言和模型类型，有助于提高语言净化模型的性能。

查看K/DA

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。