中国科学院自动化研究所 发布 MM-RLHF 数据集, 应用在 多模态人工智能、模型安全性 领域

中国科学院自动化研究所 本次发布的数据集 MM-RLHF, MM-RLHF数据集是由中国科学院自动化研究所构建的，包含12万细粒度、人工注释的偏好比较对。该数据集在规模、多样性、注释粒度和质量上都有所提升，涵盖了图像、视频理解和多模态安全三个领域。数据集的创建经过严格的管道，包括数据收集、数据筛选、模型响应生成和精细的人类注释等步骤。该数据集旨在推动多模态大型语言模型(MLLM)的偏好对齐研究，解决模型在实际应用中的 truthfulness、safety 和对人类偏好的对齐等问题。

查看MM-RLHF

关于 中国科学院自动化研究所 , 中国科学院自动化研究所是中国科学院下属的研究机构，专注于自动化、人工智能、模式识别等领域的研究。其在人工智能和自动化技术方面取得了多项重要成果，为国家的科技发展做出了重要贡献。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。