上海人工智能实验室 发布 MMRC 数据集, 应用在 对话系统、多模态交互 领域

上海人工智能实验室 本次发布的数据集 MMRC, MMRC是一个多模态现实世界对话基准数据集，由上海人工智能实验室等机构创建。该数据集从现实世界场景中收集数据，包含5120个经过精心挑选的对话，每个对话都有28720个对应的人工标注问题，用于评估多模态大型语言模型在开放端对话中的六种核心能力，包括信息提取、跨轮推理、信息更新、图像管理、长期记忆回忆和拒绝回答。数据集涵盖了多种主题，确保了数据的多样性和代表性，适用于评估模型在现实对话中的表现。

查看MMRC

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。