香港大学 发布 EmbRACE-3K 数据集, 应用在 视觉语言模型、具身推理 领域

香港大学 本次发布的数据集 EmbRACE-3K, EmbRACE-3K数据集是一个由香港大学、清华大学、LIGHTSPEED和北京师范大学联合创建的，包含超过3000个语言引导的任务，这些任务设置在多样化的、逼真的环境中，使用Unreal Engine和UnrealCV-Zoo框架构建。数据集包含大约26000个决策步骤，每个步骤都标注有自上而下的视觉观察、选择的动作和自然语言的“思考”理由，解释了代理在每个步骤中的意图。这个设计导致了细粒度、时间上与决策紧密对齐的注释。EmbRACE-3K旨在评估VLMs（视觉语言模型）在探索、动态空间-语义推理和多阶段目标执行三个关键维度上的具身推理能力。

查看EmbRACE-3K

关于 香港大学 , 香港大学是一所位于中国香港的国际化公立研究型大学，是香港最早的高等教育机构，也是亚洲最顶尖的大学之一，以其卓越的学术水平和研究成果著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。