北京电子科技学院 发布 ReasonBench 数据集, 应用在 图形推理、视觉语言模型 领域

北京电子科技学院 本次发布的数据集 ReasonBench, ReasonBench是一个包含1613个真实世界图形推理问题的数据集，旨在评估视觉语言模型(VLMs)在复杂图形推理任务中的性能。数据集从三个主要来源收集：中国公务员行政职业能力测验、门萨智力测试和拉文渐进矩阵。ReasonBench涵盖11个认知维度，进一步细分为29个不同的任务类型。该数据集的多源层次结构使得可以全面评估VLMs在多种推理范式下的分析能力。

查看ReasonBench

Dataset card 内容： 

Files and versions 内容： 

关于 北京电子科技学院 , 北京电子科技学院是一所以电子信息科学技术为核心，工、理、管、文多学科协调发展的全日制普通高等学校，主要培养电子信息领域的高级专门人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。