随着通用机器人、协作机器人研发进程加快,示范学习、行为克隆等技术路线已成为机器人智能决策领域的核心研发方向,但长期以来,公开场景下标准化、多模态的分布外(OOD)测试数据集稀缺,一直是制约行业技术迭代的核心痛点之一。近日,由微软联合创始人保罗·艾伦创立的全球知名非营利AI研究机构Allen Institute for AI(艾伦人工智能研究所)发布的全新数据集,为这一行业痛点提供了新的解决方案。
本次发布的eval_molmoact_test_tube_ood数据集基于机器人学习领域主流的LeRobot开源框架创建,是专门面向机器人示范学习、模仿学习任务设计的标准化示范数据集。数据集采集自bi_yam_follower双臂机器人执行4种不同操作任务的完整流程,共包含22条完整轨迹(episodes),累计23511帧有效数据,所有数据均以30fps的工业级采集频率获取,覆盖多模态观测与动作记录两大核心维度,可满足主流机器人学习模型的训练与验证需求。
具体来看,数据集的观测数据包含两大类别:一是14维浮点向量格式的机器人状态观测(observation.state),精准记录左右机械臂各6个关节及末端夹爪的实时位置;二是右、左、顶三个视角的RGB视频观测(observation.images.right/left/top),分辨率均为640x360,采用压缩效率更高的AV1格式编码,在保障画质的同时大幅降低数据存储与传输成本。动作数据(action)同样采用14维浮点向量格式,与机器人各关节与夹爪的目标位置一一对应,可直接用于模型动作预测输出的校准。除此之外,数据集还附带时间戳、帧索引、轨迹索引、任务索引等完备元数据,方便研究人员按需拆分调用。数据整体采用分块Parquet文件存储,结构化数据总规模约100MB,配套视频文件约200MB,整体体量轻便易下载,目前仅开放训练集划分,可广泛适配机器人策略学习、行为克隆等多类研究场景。
从行业应用来看,该数据集针对分布外(OOD)测试场景设计,相比传统同分布机器人数据集,可更好地用于验证机器人策略在陌生操作环境、非预设任务参数下的泛化能力,典型应用方向包括双臂协同精密操作算法训练、多模态视觉-运动融合模型研发、通用机器人行为克隆基准测试、机器人安全操作策略验证等,可有效降低高校研究团队、机器人创业公司的研发数据获取门槛。
当前数据要素已成为人工智能研发的核心生产资料,机器人领域的高质量公开数据集,是推动整个行业技术普惠的重要基础。本次艾伦AI研究所发布的该款数据集,进一步丰富了全球机器人学习领域的公开数据供给,对推动通用机器人智能决策技术迭代、完善机器人领域数据要素流通生态均具备积极意义。





_1769672084863.jpg)