香港科技大学 发布 vggsound-caps, V2M-caps 数据集, 应用在 多模态生成、音频处理 领域

香港科技大学 本次发布的数据集 vggsound-caps, V2M-caps, vggsound-caps是基于VGGSound数据集构建的，包含19万个音频描述的caption数据；V2M-caps是基于V2M数据集构建的，包含600万个音乐描述的caption数据。这两个数据集为多模态音频和音乐生成任务提供了丰富的训练基础，支持文本、视频、图像等多种输入模态，可以生成不同类型的音频，包括声音效果和音乐。数据集的构建过程包括对现有数据集的注释和扩充，以及利用多模态掩码策略进行模型训练，以提升多模态表示学习和生成性能。

查看vggsound-caps, V2M-caps

关于 香港科技大学 , 香港科技大学（HKUST）是一所位于中国香港的国际化研究型大学，以其在科学研究和创新教育领域的卓越表现而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。