香港浸会大学 发布 HumbleBench 数据集, 应用在 多模态语言模型、幻觉基准测试 领域

香港浸会大学 本次发布的数据集 HumbleBench, HumbleBench是一个大规模的幻觉基准，旨在评估多模态大型语言模型（MLLMs）的拒绝错误选项的能力，从而反映模型的认知谦逊。该数据集由全景场景图数据集构建，包含细粒度的场景图注释，从中提取了准确的实体和关系信息。通过GPT-4-Turbo生成自然语言问题和干扰项，并通过严格的手动过滤过程确保了问题的有效性。HumbleBench包含22831个多项选择题，是目前最大的幻觉基准数据集之一。数据集旨在解决多模态AI系统在处理视觉幻觉问题时的可靠性评估，以促进未来研究的发展。

查看HumbleBench

README 内容： 

关于 香港浸会大学 , 香港浸会大学（HKBU）是一所位于中国香港特别行政区的公立大学，成立于1956年。该校以其在人文、社会科学、商业和创意艺术等领域的教学和研究而著称，致力于培养全面发展的学生。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。