华南理工联合腾讯混元发布DiffCap-Bench基准数据集 补齐多模态模型细粒度图像评估短板

随着多模态大模型技术的快速迭代，文生图、AI图像编辑、跨模态理解等应用正加速落地，但行业长期缺乏针对细粒度图像差异识别的标准化评测基准，导致模型性能核验、幻觉抑制能力优化缺乏统一标尺，也制约了图像编辑、内容核验等下游场景的落地效率。

2026年5月6日，华南理工大学联合腾讯混元等机构共同构建的图像差异描述基准数据集DiffCap-Bench首发于学术预印本平台arXiv，正式向行业开放。

据介绍，DiffCap-Bench共包含1075组高质量图像对，覆盖物体增减、属性变更、动作差异等十类差异维度，累计收录6713条经过人工验证的原子级差异项；数据集构建采用多源采样与合成生成结合的方式，其中多源采样覆盖网页图像、商业广告等多个场景的真实素材，合成生成则依托2D/3D技术生成可控差异的图像对，所有数据均经过多轮严格质量过滤，确保标注准确性与场景覆盖的全面性。该数据集的核心定位是为多模态大模型的细粒度图像差异描述任务提供标准化评测基准，重点考察模型的差异识别准确率、语义一致性与幻觉抑制能力，解决此前同类评测存在的标准不统一、颗粒度不足等问题，为AI图像编辑流水线的差异校验环节提供可靠的衡量工具。

从落地价值来看，DiffCap-Bench的潜在应用场景覆盖多个AI核心赛道：在多模态大模型研发环节，可用于大模型图文理解能力的标准化评测，帮助研发团队定向优化模型的细粒度识别能力、降低幻觉输出概率；在AIGC图像生产领域，可用于训练图像效果核验模型，自动识别生成图与需求的差异，提升AI修图、AI商品图生成等场景的产出效率与准确率；此外，该数据集还可应用于电商内容核验、安防监控画面异常识别、医疗影像前后对照分析等多个需要进行图像差异比对的垂直领域。

作为面向AI垂直场景的高质量基准数据资源，DiffCap-Bench的发布填补了图像差异描述领域的评测工具空白，对于完善多模态大模型评测体系、推动相关应用的规模化落地，以及丰富我国AI领域高质量数据要素供给都具有重要的行业意义。

查看DiffCap-Bench

详情页内容：