北京大学 发布 ChemSafetyBench 数据集, 应用在 化学、AI安全 领域

北京大学 本次发布的数据集 ChemSafetyBench, ChemSafetyBench是由北京大学、耶鲁大学等机构联合创建的一个用于评估大型语言模型（LLMs）在化学领域安全性的基准数据集。该数据集包含超过30,000条样本，涵盖了化学物质的属性查询、使用合法性评估和合成方法描述等任务。数据集通过手工模板和高级越狱场景来增强任务的多样性，旨在全面评估LLMs在处理危险化学信息时的安全性和准确性。ChemSafetyBench的应用领域主要集中在化学领域的AI技术安全开发，旨在解决LLMs在生成科学不正确或不安全响应的问题。

查看ChemSafetyBench

README 内容： 

关于 北京大学 , 北京大学是中国的一所著名综合性大学，位于北京市，是中国最早建立的现代国立大学之一，也是中国顶尖的高等教育机构之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。