上海人工智能实验室 发布 FLAMES 数据集, 应用在 语言模型对齐、道德评估 领域

上海人工智能实验室 本次发布的数据集 FLAMES, FLAMES是一个针对中文大型语言模型（LLMs）的价值对齐基准数据集，由上海人工智能实验室和复旦大学联合创建。该数据集包含2,251个精心设计的手工对抗性提示，旨在评估LLMs与人类价值观的深度对齐，特别强调无害性和道德维度，如和谐等中国特定价值观。数据集通过复杂场景和破解方法设计对抗性提示，收集了17个主流LLMs的响应，并进行了严格标注以进行详细评估。FLAMES不仅揭示了现有LLMs在安全性和公平性方面的相对较差表现，还开发了一个轻量级的专用评分器，能够跨多个维度高效评估新模型，为当代LLMs的进一步对齐设定了新的挑战。

查看FLAMES

README 内容： 

关于 上海人工智能实验室 , 上海人工智能实验室是一家专注于人工智能技术研究和应用的科研机构，致力于推动人工智能领域的前沿技术发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。