当前，全球人形机器人、工业协作机器人产业正处于快速落地期，而精细操作技能的算法研发，尤其是双臂协同场景下的感知-动作映射模型训练，长期面临标准化、高质量公开数据集不足的痛点——不同于单臂操作任务，双臂协同需要处理更高维度的动作空间、多视角感知数据对齐、时序动作规划等多重挑战，优质的标注演示数据已成为该领域技术突破的核心生产要素。由微软联合创始人保罗·艾伦创立的艾伦人工智能研究院（Allen Institute for AI）本次发布的数据集eval_xvla_cup_stacking_in-distribution，正是针对这一行业痛点推出的定向数据供给。
该数据集使用 LeRobot 平台创建，是一个面向机器人领域的开源数据集，采用对商业应用友好的Apache 2.0 许可证，所有开发者均可免费获取并进行二次开发、商用落地。数据集记录了一个双臂机器人（bi_yam_follower）完成叠杯任务的全流程演示数据，旨在支持机器人模仿学习或策略学习等任务。数据集包含 50 个完整的 episodes，总计 31,683 帧数据，帧率为 30 FPS。数据采用轻量化存储方案，结构化数据以 Parquet 文件格式存储，总数据量约 100 MB，并配有相应的 MP4 格式视频文件，总视频大小约 200 MB，便于开发者快速下载部署。
数据集中每个样本的标注颗粒度完全匹配双臂操作的研发需求：动作（action）和状态观测（observation.state）均为 14 维浮点向量，分别对应左臂 6 个关节、左夹爪以及右臂 6 个关节、右夹爪的实时位置信息；图像观测（observation.images）提供了来自三个固定视角（右、左、顶）的 RGB 视频流，每个视频帧的分辨率为 360x640，采用压缩率更高的AV1 编码，在保障画质的同时降低存储负担。此外，数据还包含时间戳、帧索引、episode 索引、任务索引等元数据字段。数据集仅提供训练集划分，适用于开发和学习双臂机器人的感知-动作映射模型。
从应用价值来看，叠杯任务是机器人精细操作领域的经典验证场景，对双臂的动作协同精度、空间感知能力、时序规划能力均有较高要求，该数据集可广泛应用于多个机器人研发方向：在工业协作机器人领域，可用于电子元器件组装、柔性物料分拣、定制化包装等场景的操作模型训练；在服务机器人领域，可支持家用物品整理、餐饮餐品摆放、康复辅助操作等技能的模仿学习；在基础技术研发层面，也可用于多视角感知融合算法、仿真到现实（Sim2Real）迁移模型的效果验证。作为机器人学习领域的新增优质数据供给，本次AI2开源的数据集进一步填补了双臂协同操作场景的标准化数据缺口，依托开源许可的开放属性，将有效降低全行业的研发门槛，推动机器人操作技能从实验室演示走向规模化落地。
查看eval_xvla_cup_stacking_in-distribution
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)