上海交通大学 发布 TOXIFRENCH 数据集, 应用在 毒性检测、自然语言处理 领域

上海交通大学 本次发布的数据集 TOXIFRENCH, TOXIFRENCH是一个包含超过5.3万条法国在线评论的大型公开数据集，专为法国毒性检测而构建。该数据集通过半自动化标注流程创建，其中90%的标注是通过LLM预标注和人工验证完成的，极大地减少了人工标注的工作量。数据集涵盖了从2011年到2025年的广泛时间范围，旨在构建对新型毒性更具鲁棒性的模型。TOXIFRENCH数据集的创建过程结合了LLM弱监督和人工验证，确保了数据集的高质量和可靠性。数据集已被用于对超过20个模型进行基准测试，包括开源小型语言模型（SLM）、商业API和最先进的LLM，如GPT-4o和Gemini-2.5。此外，该数据集还被用于探索新的CoT微调策略，显著提高了模型在毒性检测任务中的鲁棒性和泛化能力。

查看TOXIFRENCH

Dataset card 内容： 

Files and versions 内容： 

关于 上海交通大学 , 上海交通大学是一所位于中国上海市的著名综合性研究型大学，以工程学、管理学和医学等领域的研究和教学而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。