上海交通大学 发布 FTII-Bench 数据集, 应用在 多模态任务、视觉语言模型 领域

上海交通大学 本次发布的数据集 FTII-Bench, FTII-Bench是由上海交通大学和上海高级算法研究所共同创建的一个综合多模态基准数据集，旨在评估大型视觉语言模型在图文插入任务中的表现。该数据集包含625篇高质量的中英文新闻文章，涵盖10个不同的新闻领域。数据集的创建过程包括从新华网和BBC新闻中手动收集数据，并设计了两种类型的问题：单选题和流插入题，以全面评估模型的多维度能力。FTII-Bench的应用领域主要集中在复杂的多模态任务评估，旨在解决现有基准在评估模型综合能力方面的不足。

查看FTII-Bench

README 内容： 

关于 上海交通大学 , 上海交通大学是中国的一所著名综合性研究型大学，位于上海市，是教育部直属并与上海市共建的全国重点大学。学校历史悠久，学科门类齐全，尤其在工程、管理、医学等领域具有较高的学术声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。