Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) 发布 UnsafeChain 数据集, 应用在 模型安全性、对抗性推理 领域

Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) 本次发布的数据集 UnsafeChain, UnsafeChain是一个安全对齐数据集，由具有多样化来源的困难提示构建，其中不安全的完成被识别并明确更正为安全响应。通过将模型暴露于不安全行为并指导其更正，UnsafeChain在保持一般推理能力的同时增强了安全性。数据集涵盖了对抗性攻击、数学和代码推理、事实问答和调整数据等六个领域。UnsafeChain包含13.6K个经过精心策划的元组，旨在解决推理模型安全性的挑战，帮助模型学习安全原则并提高鲁棒性和泛化能力。

查看UnsafeChain

README 内容： 

关于 Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) , Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) 是一所位于阿拉伯联合酋长国的研究型大学，专注于人工智能领域的研究与教育。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。