意大利特伦托大学 发布 CIVET 数据集, 应用在 视觉语言模型、模型评估 领域

意大利特伦托大学 本次发布的数据集 CIVET, CIVET是一个用于系统评估视觉语言模型（VLMs）理解能力的框架。该框架通过生成可控的视觉场景和自然语言输入，对VLMs的理解能力进行系统性的研究。CIVET旨在解决当前VLMs在理解和识别物体属性和关系方面的局限性，并提供一个标准化的评估工具，以帮助研究人员更准确地评估VLMs的性能。

查看CIVET

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。