复旦大学 发布 Omnimodal Referring Audio-Visual Segmentation (OmniAVS) 数据集, 应用在 多模态数据处理、音频视觉分割 领域

复旦大学 本次发布的数据集 Omnimodal Referring Audio-Visual Segmentation (OmniAVS), OmniAVS是一个包含2104个视频和61095个多模态指示表达的大型数据集，旨在推动音频视觉分割技术的发展。该数据集的独特之处在于其支持多样化的多模态指示表达，包括文本、语音、声音和图像的结合，强调对音频内容的深入理解而非仅仅是检测其存在，并在表达中融入复杂的推理和世界知识。OmniAVS的创建过程涉及了从现实世界网络视频、开源数据集和自录视频中精心挑选的视频，并通过复杂的标注流程生成，使得数据集具有丰富的多模态内容和多样的指示表达形式。该数据集的应用领域广泛，包括视频会议、机器人技术等，旨在解决音频视觉场景中的多模态信息和深度理解问题。

查看Omnimodal Referring Audio-Visual Segmentation (OmniAVS)

关于 复旦大学 , 复旦大学是中国的一所综合性研究型大学，以其在多个学科领域的卓越表现和研究成果享誉全球。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。