东京大学联合日本产综研首发AT-DIFFER开源数据集 破解音频-文本跨模态差异评估难题

随着多模态大模型技术的快速迭代，音频-文本跨模态交互已成为智能语音、数字内容生产、无障碍服务等领域的核心支撑技术，但长期以来，行业内缺乏专门针对音频与文本语义差异场景的标准化标注数据集，现有跨模态评测体系大多仅能输出“对齐/未对齐”的二元结果，无法定位差异的具体类型与成因，严重制约了多模态模型的可解释性提升与落地效果优化。

东京大学本次联合日本产业技术综合研究所（产综研，日本最大的公立产业技术研发机构，聚焦AI、先进制造等领域的技术转化与公共研发供给）发布的AT-DIFFER，于2026年10月21日首次在预印本平台arXiv公开发布，是全球少有的专门面向音频–文本差异描述场景的开源数据集，旨在刻画音频与文本语义不一致的具体表现。它包含音频–文本对及差异描述文本，覆盖单一、同时与顺序三类音频结构，以及语义差异、文本遗漏、声音遗漏、顺序倒置和同时性差异等5类核心差异场景，总样本量达197280条，并按照通用音频数据集FSD50K的规则划分训练、验证与测试集，可直接适配现有主流多模态模型的训练与评测流程。据公开信息显示，该数据集的构建以FSD50K-Solo单事件片段为源音频，通过随机组合有效音频结构与差异类型，依据模板替换声音事件标签生成标准化样本，标注成本与样本一致性均优于传统人工标注模式。

从应用价值来看，AT-DIFFER主要面向多模态大语言模型的微调与评测场景，可帮助研发人员精准识别模型输出的音频与输入文本之间的具体差异，替代传统人工校验环节，大幅提升模型迭代效率。在下游产业场景中，该数据集的能力可广泛复用至多个领域：在文本到音频生成赛道，可用于校验AI生成的音效、有声书、广播剧内容与用户prompt的匹配度，自动定位“遗漏指定声音元素”“事件顺序不符”等问题；在音频检索场景，可在输出相似度得分的同时，标注检索结果与用户文本需求的具体差异，提升检索结果的可解释性；在无障碍服务领域，可用于校验音视频内容的音频描述文本与实际音轨的匹配度，避免遗漏关键声音信息，提升视障用户的内容获取体验。

从数据要素行业的维度来看，面向垂直技术场景的标注数据集是AI大模型产业的核心基础设施，本次AT-DIFFER的开源填补了音频-文本差异标注领域的供给空白，为全球跨模态语义对齐技术的研发提供了统一的评测基准，将进一步推动多模态大模型在消费级、产业级场景的落地应用，也为公共科研机构开放核心数据资源、支撑产业创新提供了典型样本。

查看AT-DIFFER

详情页内容：