京都大学发布JAMMEval数据集,应用在视觉语言模型评估、日语多模态任务领域

京都大学本次发布的数据集JAMMEval,JAMMEval是由日本多所顶尖研究机构联合构建的日语视觉语言模型评估基准，通过对7个现有日语VQA数据集的系统性优化形成。该数据集包含1,592个精炼样本，覆盖OCR、日本文化知识、多图像推理等七大领域，采用两轮人工标注流程修正了原始数据中模糊问题、错误答案等缺陷。其创新性在于通过重标注而非简单过滤来保证数据规模，显著提升了评估信度，适用于检验模型对日语多模态任务的真实理解能力。

查看JAMMEval

关于京都大学,京都大学是日本一所著名的国立综合研究型大学，位于京都府京都市，创建于1897年，是日本第二所设立的帝国大学。该校以自由学风著称，在自然科学和人文社科领域都有卓越的研究成果，培养出多位诺贝尔奖得主。

关于arXiv,全球最大的预印本学术论文数据库，涵盖物理、数学、计算机科学等多个学科领域。