塔兰研发中心 发布 BYO-Eval 数据集, 应用在 视觉语言模型、图像评估 领域

塔兰研发中心 本次发布的数据集 BYO-Eval, BYO-Eval 是一个基于 Blender 生成的合成图像数据集，旨在对视觉语言模型进行细粒度的视觉评估。该数据集通过控制图像中的视觉属性，例如对象数量、模糊程度等，来系统地测试模型在特定视觉技能方面的表现。数据集的设计灵感来源于眼科诊断，通过逐步增加任务难度，同时保持其他视觉参数不变，可以精确揭示模型在视觉感知、推理或一般知识方面的局限性。BYO-Eval 数据集可用于诊断和任务特定的视觉语言模型评估，帮助研究人员创建新的测试案例并扩展任务，以探索模型在其他能力方面的表现。该数据集对于视觉语言模型的评估和改进具有重要意义。

查看BYO-Eval

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。