北京理工大学 发布 SafeToolBench 数据集, 应用在 人工智能安全、风险评估 领域

北京理工大学 本次发布的数据集 SafeToolBench, SafeToolBench是一个前瞻性的基准数据集，旨在评估大型语言模型（LLMs）在工具使用安全性方面的能力。数据集包含1200个对抗性用户指令，涵盖16个现实世界领域，并针对工具使用的风险分为四大类：隐私泄露、财产损失、身体伤害和偏见与冒犯。SafeToolBench的构建过程包括三个步骤：应用程序和API的生成、风险用户指令的生成以及工具规划调用的生成。SafeInstructTool框架则从用户指令、工具本身以及用户指令与工具的联合交互三个角度出发，提出了九个详细的维度来评估风险，从而提高LLMs对工具使用安全性的认识。

查看SafeToolBench

关于 北京理工大学 , 北京理工大学是中国著名的理工类大学，位于北京，是中国教育部直属的全国重点大学，也是国家首批“211工程”和“985工程”重点建设的高等院校之一。学校在国防科技和教育方面有显著成就，特别是在兵器科学与技术领域享有盛誉。_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。