上海人工智能实验室 发布 MMDU 数据集, 应用在 视觉语言模型、对话理解 领域

上海人工智能实验室 本次发布的数据集 MMDU, MMDU是一个专为评估和提升大型视觉语言模型（LVLMs）在多轮多图像对话理解能力而设计的综合基准和大规模指令调优数据集。该数据集由上海人工智能实验室创建，包含45,000条高质量数据，旨在通过模拟真实世界的人机交互场景，测试和改进模型在处理多图像和长对话历史中的表现。数据集通过使用聚类算法从开放源代码的维基百科中提取相关图像和文本描述，并由人工注释者借助GPT-4o模型构建问答对。MMDU不仅挑战了现有LVLMs的处理能力，还通过其开放式的评估方式，推动了模型在理解和生成自然、有意义对话方面的进步。

查看MMDU

README 内容： 

关于 上海人工智能实验室 , 上海人工智能实验室是一家专注于人工智能技术研究和应用的科研机构，致力于推动人工智能领域的前沿技术发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。