延世大学（Yonsei University） 发布 VENUS 数据集, 应用在 多模态对话、非言语交流 领域

延世大学（Yonsei University） 本次发布的数据集 VENUS, VENUS是一个大规模的多模态对话数据集，旨在帮助模型学习视频中的非言语线索。该数据集由来自对话丰富的播客的10分钟剪辑组成，包含两位参与者的互动。数据集包含与时间对齐的文本、面部表情和身体语言注释，通过语音识别模型生成转录文本，并单独提取和注释了伪3D运动参数，为面部表情和身体手势提供了详细的资源。该数据集的创建是为了解决现有对话数据集在规模或缺乏详细三维面部和身体语言信息方面存在的差距，以便更准确地模拟非言语线索，并生成更丰富、更符合上下文的对话。

查看VENUS

关于 延世大学（Yonsei University） , 延世大学是位于韩国首尔的一所著名研究型大学，成立于1885年，是韩国历史最悠久的大学之一，提供多样的本科及研究生课程，以其商学、医学和工程学科闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。