北京人工智能研究院 发布 MultiModal Robustness benchmark (MMR) 数据集, 应用在 多模态鲁棒性、视觉理解 领域

北京人工智能研究院 本次发布的数据集 MultiModal Robustness benchmark (MMR), MultiModal Robustness benchmark (MMR)是由北京人工智能研究院创建的一个多模态鲁棒性基准数据集，包含600条精心标注的正负问题对，涵盖12个类别。该数据集旨在评估多模态大型语言模型（MLLMs）在视觉理解和推理方面的能力，特别是在面对引导性问题时的鲁棒性。数据集通过提取图像中的视觉信息，如文本、对象、属性等，生成正负样本，以增强模型的理解和鲁棒性。MMR数据集的应用领域主要集中在提升MLLMs在复杂视觉场景下的准确性和稳定性，解决模型在面对误导性问题时可能出现的错误回答问题。

查看MultiModal Robustness benchmark (MMR)

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。