北京交通大学 发布 AMBER 数据集, 应用在 多模态语言模型评估、幻觉现象研究 领域

北京交通大学 本次发布的数据集 AMBER, AMBER是由北京交通大学、阿里巴巴集团和鹏城实验室联合创建的多维度基准数据集，用于评估多模态大型语言模型（MLLMs）的幻觉现象。该数据集包含1004张高质量、内容清晰的图像，这些图像未被用于训练MLLMs，确保了评估的客观性。数据集通过详细的标注，涵盖了存在性、属性和关系三种幻觉类型，支持生成和判别两种任务的评估。AMBER旨在解决现有评估方法成本高、维度不足的问题，通过提供一个低成本、高效的评估流程，帮助研究者更好地理解和改进MLLMs的性能，特别是在减少幻觉现象方面。

查看AMBER

README 内容： 

关于 北京交通大学 , 北京交通大学是一所以工科为主的综合性大学，位于中国北京市，以交通运输工程、信息与通信工程等学科见长。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。