微软 发布 HAVOC Benchmark 数据集, 应用在 语言模型安全性、有害内容评估 领域

微软 本次发布的数据集 HAVOC Benchmark, HAVOC Benchmark是一个用于评估语言模型安全性的多维度多危害基准数据集，旨在解决当前语言模型在处理有害内容时的局限性。该数据集包含491个已标注的网页，涵盖了五个危害类别，包括仇恨与暴力、意识形态危害、性内容、非法活动和自我伤害。通过分析这些数据，研究人员可以评估语言模型在生成文本时是否会产生有害内容，并据此改进模型的安全性。

查看HAVOC Benchmark

关于 微软 , 微软是一家总部位于美国华盛顿州的全球知名科技公司。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。