随着多模态大模型向垂直场景落地进程加速，基于自由自然语言指令的视觉理解需求持续攀升，指令驱动实例分割作为实现「自然语言交互-精准视觉识别」闭环的核心技术，长期面临高质量标注数据不足、评测标准不统一的行业痛点，直接制约了相关技术的研发效率与落地进程。
近日，浙江大学联合南京航空航天大学正式发布大规模指令驱动实例分割数据集Inst2Seg，该成果于2026年5月26日首发于学术预印本平台arXiv，是当前国内覆盖场景较全、标注精度较高的指令驱动实例分割专用数据集与基准测试工具包。据介绍，该数据集通过经过多轮迭代优化的标注流程构建，累计包含50万训练问答对以及3328条经过人工交叉验证的指令，覆盖了单目标定位、多目标筛选、无目标判定等多种真实应用场景与指令类型，实现了自由形式自然语言指令与实例级掩码的精确耦合，可系统评估AI模型在复杂多轮指令下的连贯实例级掩码预测性能，为多实例分割模型的训练优化、跨机构横向评测提供了高质量、大规模的标准化数据支持。
详情页内容：
从应用价值来看，Inst2Seg数据集可广泛覆盖学术研究与产业落地两类典型场景：在学术研究领域，该数据集可作为通用基准测试集，解决此前不同机构自研测试集标准不一、评测结果无法横向对比的问题，为指令驱动实例分割领域的技术迭代提供统一的验证标尺；在产业落地层面，该数据集的标注逻辑与真实场景的用户交互习惯高度匹配，可为智能座舱视觉交互、安防智能检索、电商智能抠图、医疗影像自动标注、工业缺陷智能识别等多个垂直领域的多模态模型训练提供数据支撑，帮助研发团队降低标注成本，缩短模型落地周期。
作为AI视觉领域的核心数据要素资源，高质量专用数据集是推动技术创新与产业落地的核心底座。本次Inst2Seg数据集的发布，进一步丰富了国内多模态计算机视觉领域的高质量数据供给，不仅为相关学术研究提供了标准化的工具支撑，也为数据要素向AI产业的价值转化提供了典型样本，对推动我国多模态大模型的技术研发与垂直场景落地具有积极意义。
_1769672084863.jpg)