当前全球人形机器人、工业协作机器人赛道正进入技术迭代的关键期，强化学习、视觉伺服控制作为支撑机器人自主决策的核心技术，其算法研发高度依赖高质量的实机采集数据集——区别于仿真生成的数据，实机采集的动作、状态、视觉多模态匹配数据能够大幅提升模型的泛化能力，降低实机部署时的适配成本，是当前机器人研发领域的核心刚需资源。2026年5月16日，开发者ThijsH04正式上线的rl_on_robot数据集，正是面向这一需求推出的垂直领域专用训练数据。
据介绍，该数据集基于HuggingFace开源的LeRobot机器人学习工具链创建，LeRobot作为面向机器人研发场景的专用工具，具备标准化的数据采集、标注、格式转换能力，保障了数据集的结构规范性与行业通用性。rl_on_robot数据集完整包含了机器人动作和状态观察数据，具体特征包括6维浮点型动作和状态向量，分别对应肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置六个核心关节参数，同时配套有来自机器人前置摄像头的视频图像，分辨率为720x1280、3通道、20fps，实现了视觉信息与机械状态的精准同步。除此之外，数据集还包含时间戳、帧索引、episode索引、任务索引等配套元数据，方便研发人员按需调用筛选。目前该数据集总共有40个episodes、3200帧和2个任务，结构化数据以parquet文件格式存储，视频资源以mp4格式存储，适配机器人类型为so_follower，可直接应用于各类机器人学和强化学习任务，且采用Apache 2.0开源许可证，支持学术研究与商业开发免费使用。
从应用价值来看，rl_on_robot数据集可覆盖多个机器人研发核心场景：在强化学习领域，研究人员可基于标注的动作-状态匹配数据，训练机械臂的轨迹优化、动态抓取、力控调整等核心能力，大幅减少实机试错的研发成本与硬件损耗；在视觉伺服控制领域，数据集同步采集的视觉图像与关节状态数据，可用于训练机器人的视觉决策能力，让机器人能够直接根据摄像头采集的环境信息自主调整关节姿态，完成工业分拣、部件装配、服务场景物品递送等复杂任务；此外，数据集标准化的结构也可支撑多模型效果对比、算法基准测试等学术研究需求。作为垂直领域的优质训练数据，rl_on_robot的发布也进一步丰富了全球AI训练数据要素供给，为机器人领域的技术迭代提供了基础支撑。
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)