马里兰大学帕克分校 发布 AURA 数据集, 应用在 语言模型评估、视听认知 领域

马里兰大学帕克分校 本次发布的数据集 AURA, AURA是一个用于评估视听大型语言模型（AV-LLMs）和全模态语言模型（OLMs）的细粒度认知任务的基准。它包含超过1600个问答对，涵盖六个认知领域：跨模态因果推理、不可回答性、音色/音高推理、节奏/视听同步分析、表演者技能分析以及隐式干扰。AURA旨在迫使模型构建基于音频和视频的有效逻辑路径，从而评估模型的推理能力。

查看AURA

关于 马里兰大学帕克分校 , 马里兰大学帕克分校是美国马里兰州的一所公立研究型大学，成立于1856年，是马里兰大学系统的旗舰校。该校在科学、工程、人文和社会科学等多个领域具有卓越的研究和教学水平，是美国顶尖的公立大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。