南京大学 发布 SafeDialBench-Dataset 数据集, 应用在 对话系统安全性、语言模型评估 领域

南京大学 本次发布的数据集 SafeDialBench-Dataset, SafeDialBench是一个针对大型语言模型在多轮对话中安全性的细粒度评估基准，涵盖了6个安全维度的两层分级安全分类法。该数据集通过7种不同的越狱攻击方法生成了4000多个中英双语的对话场景，每个对话包含3到10轮。该数据集的构建旨在评估模型在识别不安全风险、处理不安全内容以及面对越狱攻击时保持一致性等方面的能力。

查看SafeDialBench-Dataset

README 内容： 

关于 南京大学 , 南京大学是中国的一所著名综合性大学，以其在文、理、工、医等多个学科领域的深厚学术底蕴和卓越研究成果而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。