当前,设施农业智能化转型进入落地攻坚期,采摘机器人作为替代人工完成高频重复性劳作的核心装备,其研发高度依赖多模态、场景化的标注训练数据,但长期以来,面向蔬果采摘场景的双臂机器人协同、多视角视觉融合的垂直数据集供给不足,成为制约相关技术迭代的核心痛点之一。
近日,农业机器人垂直数据服务平台tomato-store正式发布由LeRobot创建的yolo_harvest_v1_20260516_220107数据集,该数据集聚焦机器人技术领域双手机器人(bi_so_follower)的控制任务,可广泛应用于机器人采摘控制、机器人视觉伺服等核心技术研发场景。
从数据集参数来看,该数据集包含12维的动作和状态特征,分别对应左右机械臂的肩部、肘部、腕部等关节位置和夹爪位置,可为双臂协同控制算法训练提供精准的动作标注基准。观测数据层面覆盖三个摄像头的同步视频流:左前摄像头(分辨率480x640)、右前摄像头(分辨率480x640)和右顶摄像头(分辨率360x640),所有视频以30fps录制并采用AV1格式编码,在保证画面清晰度的前提下大幅压缩存储体积,多视角的同步采集数据可满足视觉伺服场景下的采摘点定位、环境感知、运动校正等算法训练需求。
数据集的结构化设计也适配机器人学习研发需求,结构包含时间戳、帧索引、episode索引和任务索引等元数据,总共有2个episodes、541帧和1个任务,数据以适用于大数据快速读取的parquet文件(约100MB)和mp4视频文件(约200MB)形式存储,大幅降低研究人员的数据预处理成本,适用于机器人学习和控制研究的快速验证。
从应用场景来看,该数据集可支撑多个方向的技术研发:在采摘机器人视觉伺服领域,多视角的视频数据可用于训练成熟番茄识别、果柄定位算法,结合机械臂姿态数据可实现视觉反馈对采摘路径的实时调整,降低果实碰损率;在双臂协同控制领域,12维的关节、夹爪标注数据可用于训练双手机器人“固定果穗+精准采摘”的协同作业逻辑,提升采摘效率;此外该标准化数据集也可作为农业机器人场景小样本学习、迁移学习的基础训练素材,降低相关研发团队的原始数据采集成本。
作为农业机器人垂直领域的专项数据集,本次发布的yolo_harvest_v1数据集进一步丰富了农业智能装备领域的训练数据供给,对加快采摘机器人技术落地、推进设施农业无人化运营、完善数据要素在农业数字化领域的应用场景具有重要意义。
查看yolo_harvest_v1_20260516_220107





_1769672084863.jpg)