PeopleTec, Inc. 发布 Scientific Refusal Test benchmark 数据集, 应用在 AI安全性、科学查询 领域

PeopleTec, Inc. 本次发布的数据集 Scientific Refusal Test benchmark, Scientific Refusal Test benchmark是一个由PeopleTec公司创建的开源数据集，包含512个科学拒绝问题，旨在评估大型语言模型在面对可能具有双重用途的科学查询时的安全性机制。这些问题涵盖了环境科学、计算机科学和药理学等领域，旨在揭示模型在敏感领域的内在限制和防护措施。该数据集可用于系统评估AI安全性的进展，并提供了对AI安全性机制潜在脆弱性的深入分析。

查看Scientific Refusal Test benchmark

关于 PeopleTec, Inc. , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。