南本德大学 发布 AUTOBENCH-V 数据集, 应用在 视觉语言模型、模型评估 领域

南本德大学 本次发布的数据集 AUTOBENCH-V, AUTOBENCH-V是由南本德大学、MBZUAI和KAUST共同创建的一个自动化视觉语言模型评估框架。该数据集旨在通过生成相关的图像样本和视觉问答任务，灵活高效地评估大型视觉语言模型（LVLMs）的能力。数据集包含多个评估维度，如基本理解、空间理解、语义理解等，并通过不同难度级别的图像描述来全面评估模型的性能。AUTOBENCH-V的应用领域广泛，旨在解决现有评估方法缺乏灵活性和高成本的问题，推动视觉语言模型的进一步发展。

查看AUTOBENCH-V

关于 南本德大学 , 南本德大学（University of Notre Dame）是一所位于美国印第安纳州的私立研究型大学，成立于1842年。该校以其卓越的学术声誉和天主教传统而闻名，提供广泛的本科和研究生课程，尤其在工程、商业和法律等领域具有显著影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。