清华大学 发布 SpeakerVid-5M 数据集, 应用在 音频-视觉交互、虚拟人类 领域

清华大学 本次发布的数据集 SpeakerVid-5M, SpeakerVid-5M是一个大规模、高质量的音频-视觉双交互人类生成数据集。该数据集由清华大学、StepFun、香港科技大学（广州）和香港科技大学的研究团队合作创建，旨在推动虚拟人类领域的研究。数据集包含超过8.7万小时的视频数据，超过520万个人物肖像视频片段，涵盖了从单一人谈话、倾听到双人对话等多种互动类型。数据集结构上分为对话分支、单分支、倾听分支和多轮分支，并分为大规模预训练子集和经过精心挑选的高质量子集，以适应不同的研究需求。此外，数据集还提供了自动回归（AR）视频聊天基线模型和相应的评价指标，以供未来研究使用。

查看SpeakerVid-5M

关于 清华大学 , 清华大学是中国的顶尖学府之一，位于北京，是中国教育部直属的全国重点大学，也是中国著名的综合性研究型大学，具有很高的学术声誉和国际影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。