Facebook Research 发布 Multimodal RewardBench 数据集, 应用在 多模态模型评估、视觉-语言模型 领域

Facebook Research 本次发布的数据集 Multimodal RewardBench, 该数据集是一个由专家标注的基准，涵盖了六个领域：通用正确性、偏好、知识、推理、安全以及视觉问答。它包含了从各种视觉-语言模型中收集的5,211个标注三元组。该基准旨在评估不同视觉-语言模型评判者的表现，并为在多个领域推进奖励模型的发展提供了一个具有挑战性的测试平台。数据集的规模为5,211个标注三元组，其任务是对视觉-语言模型中的多模态奖励模型进行评估。

查看Multimodal RewardBench

README 内容： 

关于 Facebook Research , Facebook Research是Facebook公司的研发部门，专注于计算机科学的基础研究和应用研究，其研究领域包括人工智能、机器学习、计算机视觉等。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。