北京通用人工智能研究院 发布 OmniMMI 数据集, 应用在 多模态交互、视频理解 领域

北京通用人工智能研究院 本次发布的数据集 OmniMMI, OmniMMI是一个专为Omni语言模型设计的全面的多模态交互基准，适用于流媒体视频环境。该数据集包含超过1,121个视频和2,290个问题，旨在解决现有视频基准中未被充分探索的两个关键挑战：流媒体视频理解和主动推理。数据集涵盖了六种不同的子任务，包含动作预测、动态状态定位、多轮依赖推理等。数据来源于YouTube和开源视频音频数据，经过人工审核和标注，适用于评估多模态语言模型在流媒体视频环境中的交互能力。

查看OmniMMI

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。