腾讯混元 发布 HunyuanVideo-Avatar 数据集, 应用在 计算机视觉、虚拟现实 领域

腾讯混元 本次发布的数据集 HunyuanVideo-Avatar, HunyuanVideo-Avatar数据集由腾讯混元实验室创建，旨在解决音频驱动人物动画中的关键挑战。该数据集包含多个角色，可以生成动态、情感可控的多角色对话视频。数据集应用了多模态扩散Transformer（MM-DiT）模型，并引入了三个关键创新模块：角色图像注入模块、音频情感模块和面向音频适配器。这些模块使得HunyuanVideo-Avatar在基准数据集和新提出的野外观测数据集上超越现有方法，能够生成在动态、沉浸式场景中逼真的虚拟形象。

查看HunyuanVideo-Avatar

关于 腾讯混元 , 腾讯混元是腾讯公司的一个人工智能实验室，专注于虚拟现实、增强现实和混合现实技术的研究与开发。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。