北京大学 发布 SIV-Bench 数据集, 应用在 多模态语言模型、社交智能 领域

北京大学 本次发布的数据集 SIV-Bench, SIV-Bench是一个视频基准数据集，用于严格评估多模态大型语言模型（MLLMs）在社交场景理解（SSU）、社交状态推理（SSR）和社交动态预测（SDP）方面的能力。该数据集包含2792个视频片段和8792个精心生成的问答对，源自于人类与LLM协作的管道。它最初是从TikTok和YouTube收集的，涵盖广泛的视频类型、展示风格和语言文化背景。SIV-Bench还专门设置了分析不同文本线索影响的环境，包括原始屏幕文本、添加的对话或无文本。在领先的MLLMs上进行的综合实验表明，模型在处理SSU方面表现得很好，但在SSR和SDP方面却存在显著困难，其中关系推理（RI）是一个严重的瓶颈。SIV-Bench为分析当前MLLMs的优缺点提供了关键见解，以推动更具有社交智能的AI的发展。数据集和代码可在https://kfq20.github.io/sivbench/获取。

查看SIV-Bench

关于 北京大学 , 北京大学是中国著名的高等学府，位于北京，是中国最早的国立综合性大学，也是国家重点支持的顶尖大学之一，有着深厚的历史积淀和学术实力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。