随着具身智能成为全球AI领域的核心研发赛道，高质量、标注完善的实机操作数据集，已成为制约双臂机器人精细控制算法落地的核心瓶颈之一。近日，全球顶尖非营利AI研究机构艾伦人工智能研究院（Allen Institute for AI，以下简称AI2）正式发布全新机器人操作数据集，为该领域的研发提供了新的开源参考。
本次发布的eval_molmoact_cup_stacking_in-distribution数据集由AI2旗下LeRobot项目创建，是面向机器人双臂操作场景的专业标注数据集，采用商用友好的Apache-2.0许可证，允许学术研究与商业场景的免费使用。作为AI2面向具身智能领域推出的核心开源项目，LeRobot专注于机器人操作数据集采集、标注工具链开发与算法基准搭建，旨在降低全球机器人领域的研发门槛，推动技术成果的可复现与标准化评估。
该数据集于2026年5月20日率先登陆Hugging Face平台对外开放，共包含35个完整任务周期（episodes），总计32048帧标注数据，采用30fps的采集帧率，可完整捕捉叠杯操作中机械臂的高速动作细节，避免运动模糊导致的标注误差；数据以结构化parquet文件格式组织，相比传统文本格式查询效率提升数倍，方便研究者快速筛选所需训练样本，总结构化数据文件大小约100MB，配套视频文件大小约200MB，目前仅开放训练集（索引0-35）。
从标注维度来看，该数据集的核心特征覆盖动作（action）和观测状态（observation.state）两类14维浮点数组，分别对应左右机械臂的6个关节位置与1个夹爪开合程度，细粒度的运动学标注省去了研究者额外搭建动作捕捉系统的成本，可直接用于端到端的控制策略训练；观测层面同步采集右、左、顶三路视角的实时视频，每路视频分辨率为360x640、3通道，采用高压缩比的AV1编码，在保证画面清晰度的同时降低了存储与传输成本，多视角数据既可以支持单视角算法的鲁棒性验证，也可以为多目视觉融合控制算法提供训练素材。此外数据集还包含时间戳、帧索引、episode索引、全局索引和任务索引等完整元数据字段，方便研究者实现帧级的训练拆分与效果溯源。
从应用方向来看，该数据集可广泛适配机器人操作控制、模仿学习、强化学习等多个研发场景：在模仿学习领域，研发团队可基于标注的完整叠杯操作流程，训练双臂机器人复刻高精度的动态操作动作，验证策略在连续任务中的泛化能力；在机器人控制方向，可作为基准测试集，验证不同控制算法在高速、小容错空间任务中的响应速度与误差控制水平；在强化学习领域，该数据集的同分布（in-distribution）属性可有效避免训练与测试数据分布偏移带来的评估误差，为不同团队的算法性能提供统一的横向对比基准。目前该数据集的具体任务定义和补充背景信息尚未在官方README中披露。
查看eval_molmoact_cup_stacking_in-distribution
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)