中国科学院自动化研究所 发布 Agent-RewardBench 数据集, 应用在 多模态智能体、奖励建模 领域

中国科学院自动化研究所 本次发布的数据集 Agent-RewardBench, Agent-RewardBench是一个用于评估多模态大型语言模型（MLLMs）在多模态智能体任务中的奖励建模能力的基准。该基准包含1,136个高质量样本，涵盖3个评估维度和7个现实世界智能体应用场景。数据集包括感知、规划和安全三个评估维度，涉及7种不同场景，包括移动、网络、桌面、自动驾驶、Minecraft、虚拟家和旅行规划。数据集通过两个阶段的过滤过程构建，包括使用小模型和人工标注者的过滤，以确保数据质量。

查看Agent-RewardBench

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。