Columbia-ICSL 发布 TDBench 数据集, 应用在 视觉理解、模型评估 领域

Columbia-ICSL 本次发布的数据集 TDBench, 该数据集名为TDBench，是一个专注于自上而下图像理解的视觉-语言模型（VLMs）的全面基准测试，它由公共自上而下视角数据集和高质量模拟图像构建而成，包含了跨越十个评估维度的视觉问答对。TDBench还包括一种名为RotationalEval（RE）的新评估策略，用于评估模型在不同图像方向下的性能，通过旋转不变性确保了严格的评估。这一全面基准测试具有多个评估维度，其任务涵盖了自上而下图像理解和视觉问答。

查看TDBench

README 内容： 

关于 Columbia-ICSL , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。