巨人网络AI实验室 发布 VGGSound 数据集, 应用在 音频生成、视频处理 领域

巨人网络AI实验室 本次发布的数据集 VGGSound, VGGSound数据集是一个用于视频引导音频生成的工业级标准数据集，涵盖了电影、游戏和商业广告等多种真实场景。该数据集包含约173,000个视频片段及其对应的音频，旨在为视频到音频生成任务提供高质量的训练数据。数据集的创建过程包括视频分类、内容下载或录制、音频重采样和单声道转换、自动化标注和复杂视频理解等步骤，确保了数据的高质量和多样性。该数据集主要应用于音频生成领域，特别是在少样本设置下生成高质量同步音频，解决视频背景音缺失的问题。

查看VGGSound

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。