伊利诺伊大学厄巴纳-香槟分校 发布 “关于环境和行为的推理” (REA) 数据集 数据集, 应用在 3D环境理解、视频分析 领域

伊利诺伊大学厄巴纳-香槟分校 本次发布的数据集 “关于环境和行为的推理” (REA) 数据集, REA数据集是一个用于评估多模态大型语言模型在空间和时间理解能力的大规模数据集。该数据集由伊利诺伊大学厄巴纳-香槟分校的研究团队开发，旨在帮助模型理解3D环境的全局结构和视频中最近发生的动作。数据集包括五个任务，分别测试模型在相对方向、相对距离、物品定位、家具使用预测和动作规划方面的能力。REA数据集通过结合3D场景表示和2D视频表示，为模型提供丰富的时空上下文信息。为了创建REA数据集，研究团队使用EPIC-KITCHENS数据集的动作标注、VISOR数据集的对象分割标注以及EPIC-FIELDS数据集的稀疏点云。数据收集流程包括两个主要组件：问答生成和点云重建。问答生成包括视频采样、3D位置估计、空间关系估计和导航动作估计。点云重建则通过将2D分割掩码投影到COLMAP点云上，计算出查询对象在3D空间中的平均位置。REA数据集旨在解决多模态大型语言模型在时空理解方面的挑战，推动模型在现实世界中的应用，如具身AI、情景感知和时空问答等。

查看“关于环境和行为的推理” (REA) 数据集

关于 伊利诺伊大学厄巴纳-香槟分校 , 伊利诺伊大学厄巴纳-香槟分校（UIUC）是美国顶尖的公立研究型大学，位于伊利诺伊州的厄巴纳和香槟市。该校在工程、计算机科学、商学等领域享有盛誉，拥有众多诺贝尔奖得主和图灵奖得主。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。