中国科学院自动化研究所 发布 MMhops 数据集, 应用在 多模态推理、多跳推理 领域

中国科学院自动化研究所 本次发布的数据集 MMhops, MMhops是由中科院自动化所与腾讯联合构建的大规模多模态多跳推理基准数据集，涵盖31,117条样本，包含28,256张图像和8,832个实体。该数据集通过维基百科知识库构建，采用GPT-4o等模型进行自动化标注，包含桥接推理和对比推理两种任务类型，支持3-4跳动态推理链。其创新性在于首次系统整合视觉与文本模态的多跳推理，要求模型通过跨模态知识检索和动态路径规划解决复杂问题，为多模态大语言模型的深度推理能力评估提供了重要基准。

查看MMhops

README 内容： 

关于 中国科学院自动化研究所 , 中国科学院自动化研究所是中国科学院下属的综合性研究机构，专注于自动化科学与技术的研究与开发，涵盖模式识别、机器学习、智能系统等领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。