上海交通大学发布VL-RouterBench数据集,应用在视觉-语言模型、路由评估领域

上海交通大学本次发布的数据集VL-RouterBench,VL-RouterBench是由上海交通大学与香港科技大学联合构建的大规模视觉-语言模型路由评估基准。该数据集覆盖14个跨任务组数据集，包含30,540个样本，整合15个开源模型和2个API模型，形成519,180个样本-模型对，总token量达34,494,977。数据构建基于VLMEvalKit的原始推理日志，通过自动化验证流程生成质量矩阵和成本矩阵。该基准旨在解决多模态路由系统中模型选择标准不统一的问题，为视觉-语言任务中的动态路由策略提供系统化评估框架，推动跨模态路由技术在质量和成本权衡方面的研究进展。

查看VL-RouterBench

README内容：

关于上海交通大学,上海交通大学是中国历史最悠久、享誉海内外的著名高等学府之一，是教育部直属并与上海市共建的全国重点大学。学校创建于1896年，涵盖理、工、医、经、管、文、法等学科门类，是国家“双一流”建设高校。

关于arXiv,arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。