中国人民大学 发布 TikTalk 数据集, 应用在 多模态对话、视频分析 领域

中国人民大学 本次发布的数据集 TikTalk, TikTalk是由中国人民大学创建的一个视频基础的多模态对话数据集，旨在模拟现实世界中的多模态闲聊场景。该数据集包含从流行的视频分享平台收集的38,703个视频和367,670个用户对话。用户基于观看视频的多模态体验进行自发对话，从而重现真实的闲聊环境。与以往的多模态对话数据集相比，TikTalk中的更丰富的上下文类型导致更多样化的对话，但也增加了从复杂的多模态信息中捕捉人类兴趣以生成个性化响应的难度。此外，外部知识在我们的数据集中更频繁地被唤起。这些事实揭示了多模态对话模型的新挑战。

查看TikTalk

关于 中国人民大学 , 中国人民大学是中国的一所著名综合性大学，位于北京市，以社会科学、人文科学和管理科学为主要特色，是中国重点建设的高水平研究型大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。