人工智能大学 发布 Video-Audio CAptions Dataset (VACAD) 数据集, 应用在 音乐生成、视频内容分析 领域

人工智能大学 本次发布的数据集 Video-Audio CAptions Dataset (VACAD), MusiScene数据集由人工智能大学的研究团队创建，旨在探索音乐语言模型在场景想象方面的能力。该数据集包含3371对视频和音频配对，以及相应的视频和音乐描述。研究人员利用现有的MU-LLaMA模型进行微调，以便使其能够回答与场景相关的问题，例如“这段音乐适合哪种视频？”研究团队希望利用生成的场景想象描述来提高视频背景音乐生成的质量。

查看Video-Audio CAptions Dataset (VACAD)

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。