five
五号数据雷达
产品上架
产权登记
知识产权
公共数据
首页 / 开源数据市场 / 正文

艾伦AI研究所发布多模态机器人示范数据集 为模仿学习OOD场景研究提供标准化支撑

五号数据雷达开源数据市场2026-05-21 04:2511
2026年5月20日,全球知名非营利AI研究机构艾伦人工智能研究所(Allen Institute for AI)在Hugging Face平台首发eval_molmoact_test_tube_ood数据集,该数据集面向机器人示范学习、模仿学习领域设计,将为行业分布外泛化能力研究提供核心数据支撑。

随着通用机器人、协作机器人研发进程加快,示范学习、行为克隆等技术路线已成为机器人智能决策领域的核心研发方向,但长期以来,公开场景下标准化、多模态的分布外(OOD)测试数据集稀缺,一直是制约行业技术迭代的核心痛点之一。近日,由微软联合创始人保罗·艾伦创立的全球知名非营利AI研究机构Allen Institute for AI(艾伦人工智能研究所)发布的全新数据集,为这一行业痛点提供了新的解决方案。

本次发布的eval_molmoact_test_tube_ood数据集基于机器人学习领域主流的LeRobot开源框架创建,是专门面向机器人示范学习、模仿学习任务设计的标准化示范数据集。数据集采集自bi_yam_follower双臂机器人执行4种不同操作任务的完整流程,共包含22条完整轨迹(episodes),累计23511帧有效数据,所有数据均以30fps的工业级采集频率获取,覆盖多模态观测与动作记录两大核心维度,可满足主流机器人学习模型的训练与验证需求。

具体来看,数据集的观测数据包含两大类别:一是14维浮点向量格式的机器人状态观测(observation.state),精准记录左右机械臂各6个关节及末端夹爪的实时位置;二是右、左、顶三个视角的RGB视频观测(observation.images.right/left/top),分辨率均为640x360,采用压缩效率更高的AV1格式编码,在保障画质的同时大幅降低数据存储与传输成本。动作数据(action)同样采用14维浮点向量格式,与机器人各关节与夹爪的目标位置一一对应,可直接用于模型动作预测输出的校准。除此之外,数据集还附带时间戳、帧索引、轨迹索引、任务索引等完备元数据,方便研究人员按需拆分调用。数据整体采用分块Parquet文件存储,结构化数据总规模约100MB,配套视频文件约200MB,整体体量轻便易下载,目前仅开放训练集划分,可广泛适配机器人策略学习、行为克隆等多类研究场景。

从行业应用来看,该数据集针对分布外(OOD)测试场景设计,相比传统同分布机器人数据集,可更好地用于验证机器人策略在陌生操作环境、非预设任务参数下的泛化能力,典型应用方向包括双臂协同精密操作算法训练、多模态视觉-运动融合模型研发、通用机器人行为克隆基准测试、机器人安全操作策略验证等,可有效降低高校研究团队、机器人创业公司的研发数据获取门槛。

当前数据要素已成为人工智能研发的核心生产资料,机器人领域的高质量公开数据集,是推动整个行业技术普惠的重要基础。本次艾伦AI研究所发布的该款数据集,进一步丰富了全球机器人学习领域的公开数据供给,对推动通用机器人智能决策技术迭代、完善机器人领域数据要素流通生态均具备积极意义。

查看eval_molmoact_test_tube_ood

Dataset card内容:

Files and versions内容:

数据合作广告位

社区讨论

近期热门
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

二维码
关注我们