北京邮电大学 发布 JailBench 数据集, 应用在 自然语言处理安全、语言模型评估 领域

北京邮电大学 本次发布的数据集 JailBench, JailBench是由北京邮电大学可信分布式计算与服务教育部重点实验室创建的一个全面的中文安全性评估基准，旨在评估大型语言模型（LLM）在中文语境下的深层安全漏洞。该数据集包含10,800个查询，涵盖了5个不同的风险领域和40种具体的风险类型，通过自动化的数据扩展方法和创新的自动越狱提示工程框架（AJPE），提高了评估的有效性和效率。JailBench可以广泛应用于大型语言模型的安全性评估，特别是在中文语境下，有助于揭示模型的安全性和可信度方面的改进空间。

查看JailBench

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。