韩国科学技术院 发布 AVHBench 数据集, 应用在 多模态学习、模型评估 领域

韩国科学技术院 本次发布的数据集 AVHBench, AVHBench是由韩国科学技术院的研究团队创建的音频-视觉大型语言模型幻觉基准数据集。该数据集包含5,816个问答对和1,238个音频-视觉描述，涵盖四个不同的任务：音频驱动的视频幻觉、视频驱动的音频幻觉、音频-视觉匹配和音频-视觉描述。数据集的创建过程包括从现有数据集中提取视频和音频信息，并通过半自动注释管道生成问答对。AVHBench旨在评估和提升音频-视觉LLMs在处理复杂多模态信号时的鲁棒性，特别是在减少跨模态幻觉方面。

查看AVHBench

关于 韩国科学技术院 , 韩国科学技术院是韩国最高科学研究机构，致力于推动科技创新和培养科研人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。