Apple 发布 PRISM-Bench 数据集, 应用在 视觉推理、问题解决 领域

Apple 本次发布的数据集 PRISM-Bench, PRISM-Bench是一个基于谜题的视觉推理挑战基准，旨在评估模型解决问题的能力及其推理过程。数据集包含1044个视觉推理任务，要求多步骤符号、几何和类比推理，以防止基于表面模式匹配的快捷解决方案。每个谜题都与一个真实的思维链和一个包含一个错误的思想链配对，要求模型识别推理中的第一个错误步骤。该基准提供了两个互补的评价协议：直接谜题解决（最终答案）和推理验证，以评估模型在生成答案和验证推理方面的能力。该数据集对于推动更可靠的多模态语言模型的发展具有重要意义。

查看PRISM-Bench

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。