Mohamed bin Zayed University of Artificial Intelligence 发布 EXPOTION dataset 数据集, 应用在 多模态音乐生成、音频处理 领域

Mohamed bin Zayed University of Artificial Intelligence 本次发布的数据集 EXPOTION dataset, EXPOTION数据集是Mohamed bin Zayed University of Artificial Intelligence创建的一个多模态音乐生成数据集，包含7小时同步的视频录音，记录了表情丰富的面部和上半身手势，与相应的音乐对齐。该数据集旨在为未来在多模态和交互式音乐生成领域的研究提供重要支持。数据集由志愿者录制，他们在听30秒音频剪辑时进行面部表情和上半身运动，音频剪辑来自Epidemic Sound的授权乐器曲目。数据集被剪辑成每10秒一个片段，并使用音频字幕模型SALMONN生成每个音频剪辑的字幕，用于训练和推理过程中的文本提示。

查看EXPOTION dataset

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。