华为诺亚方舟实验室 发布 OmniEval 数据集, 应用在 多模态信息处理、模型评估 领域

华为诺亚方舟实验室 本次发布的数据集 OmniEval, OmniEval是一个全面的基准数据集，旨在评估能够同时处理视觉、听觉和文本信息的全模式模型。数据集包含810个音视频同步视频片段，包括285个中文视频和525个英文视频，以及2617个问答对，涵盖1412个开放式问题和1205个多项选择题。OmniEval设计了一系列强调音频和视频强耦合的任务，要求模型有效地利用所有模态的协作感知。数据集通过结合自动化数据处理和人工审核的方式创建，旨在提供一个具有挑战性和可靠性的资源，用于评估Omni模型在多种认知任务中的能力，包括细粒度事件理解。OmniEval旨在解决现有全模式模型评估的不足，推动全模式模型的发展，促进研究人员构建更强大的模型，能够理解和构建所有模态的上下文中的连贯性。

查看OmniEval

关于 华为诺亚方舟实验室 , 华为诺亚方舟实验室是华为公司的研发机构，专注于人工智能的基础研究和技术创新。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。