Apply U 发布 ColorBlindnessEval 数据集, 应用在 计算机视觉、机器学习评估 领域

Apply U 本次发布的数据集 ColorBlindnessEval, ColorBlindnessEval数据集由Apply U机构创建，旨在评估视觉语言模型（VLMs）在视觉对抗场景中的鲁棒性，灵感来源于石原色盲测试。该数据集包含500张类似于石原测试的图像，每张图像中都嵌入了一个从0到99的数字，颜色组合各不相同，旨在挑战VLMs准确识别复杂视觉模式中嵌入的数字信息。数据集的创建过程分为三个阶段：首先生成包含数字的参考图像；然后使用蒙特卡洛方法生成无颜色的圆盘；最后根据参考图像中圆盘的位置分配颜色。该数据集为评估和提高VLMs在实际应用中的可靠性和安全性提供了有价值的工具。

查看ColorBlindnessEval

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。