Microsoft 发布 MageBench 数据集, 应用在 人工智能、多模态推理 领域

Microsoft 本次发布的数据集 MageBench, 该数据集名为MageBench，是一个专注于推理能力的多模态代理基准测试，涵盖了三种环境类型：WebUI、推箱子（Sokoban）和足球，总共包含483个不同场景，用以验证代理在知识、视觉智能和交互技能方面的能力。该基准测试强调链式视觉推理，并包含了需要多次重复以最小化随机波动的评估指标。规模上，数据集包含了483个不同的场景。任务旨在评估大型多模态模型在代理设置中的推理能力。

查看MageBench

README 内容： 

关于 Microsoft , 微软是一家总部位于美国华盛顿州的全球知名科技公司。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。