索尼AI 发布 SVGSA24 数据集, 应用在 音频-视频对齐、虚拟现实 领域

索尼AI 本次发布的数据集 SVGSA24, SVGSA24数据集是由索尼AI和索尼集团创建的音频-视觉数据集，专门用于空间对齐的音频-视频生成研究。该数据集包含5031个视频片段，每个视频时长为5秒，分辨率为256×256，帧率为4fps，音频为立体声，采样率为16 kHz。数据集的内容主要来源于STARSS23数据集，经过转换和筛选，保留了屏幕上的语音和乐器声音事件。创建过程中，数据集通过固定视角将全景视频和FOA音频转换为透视视频和立体声音频，并进行了精细的筛选和处理。SVGSA24数据集主要应用于虚拟现实、世界模拟、机器人感知和导航等领域，旨在解决音频与视频在空间上的对齐问题，提升沉浸式体验的真实感。

查看SVGSA24

关于 索尼AI , 索尼AI是索尼集团旗下的一个专注于人工智能研究和应用的部门，致力于推动AI技术在各个领域的创新和应用。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。