斯坦福大学 发布 VMCBench 数据集, 应用在 视觉语言模型、模型评估 领域

斯坦福大学 本次发布的数据集 VMCBench, VMCBench是一个由20个现有VQA数据集转换而成的多选题基准数据集，包含9018个问题，旨在为视觉语言模型（VLM）提供标准化、可扩展的评估工具。数据集通过AutoConverter框架自动生成，确保了问题的正确性和挑战性。VMCBench涵盖了多种问题类型，能够全面评估VLM在不同任务中的表现。该数据集的应用领域主要集中在视觉语言模型的评估和优化，旨在解决开放式问题评估中的语义相似性测量难题，并提供更客观、可重复的评估方法。

查看VMCBench

关于 斯坦福大学 , 斯坦福大学（Stanford University）位于美国加利福尼亚州，是一所世界著名的私立研究型大学。成立于1885年，以其在科技创新和创业精神方面的卓越表现而闻名，培养了众多科技行业的领军人物。斯坦福大学在工程、计算机科学、商学、法律和医学等领域具有很高的学术声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。