deboraptor发布left_right_cup多模态机器人数据集 首发HuggingFace赋能操作与模仿学习场景
近年来随着具身智能产业快速爆发，协作机器人、服务机器人的操作能力迭代对高质量标注训练数据的需求持续攀升，但当前市场中同时覆盖机器人关节运动参数、多视角视觉观测、时序任务标注的多模态数据集供给缺口较大，成为制约机器人模仿学习、强化学习算法落地的重要瓶颈。近日，deboraptor正式发布面向机器人操作场景的专业多模态数据集left_right_cup，填补了垂直场景训练数据的供给空白。
该数据集针对so_follower型机器人的操作场景打造，共包含58个任务序列（episode）、26674帧标注数据，覆盖两类典型操作任务。数据维度覆盖机器人全链路操作信息：其中6维动作数据对应肩部旋转、肩部升降、肘部弯曲、手腕弯曲、手腕旋转、夹爪位置六大核心关节的控制参数，6维观测状态同步对应关节实时位置，可直接匹配so_follower机器人的控制逻辑，无需额外做数据维度映射；视觉层面同步采集前置摄像头（机器人第一视角）和手机摄像头（全局第三方视角）两路视频流，分辨率均为480x640、帧率30fps，采用AV1编码压缩，在保障画质的同时降低存储体积，同时数据还配套了时间戳、帧索引、episode索引、任务索引等结构化标注信息，方便开发者快速筛选对应任务的训练数据。存储层面，结构化标注数据采用大数据领域通用的Parquet格式存储，可实现高性能读写，视频流采用通用MP4格式存储，支持开发者按需做二次标注或加工。该数据集适用于训练机器人模仿学习、强化学习等算法。
从应用场景来看，该数据集可广泛支撑机器人领域的多类研发需求：在模仿学习场景中，开发者可基于数据集标注的动作-视觉对应关系，训练机器人复现精细操作流程，无需编写复杂的规则化控制代码，快速落地桌面物品摆放、小型零件组装、服务类递送等典型操作任务；在强化学习场景中，该数据集的标注结果可作为奖励函数的基准参考，大幅降低强化学习的试错成本，缩短算法收敛周期；此外，该数据集完整的多模态映射关系也可为跨机器人型号的迁移学习、多模态大模型的具身能力训练提供数据支撑。作为面向机器人垂直场景的专业多模态数据集，left_right_cup的发布进一步丰富了具身智能领域的训练数据供给，尤其为中小研发团队降低了机器人操作算法的研发门槛，对推动具身智能技术从实验室走向产业落地具有重要的支撑作用。
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)