东京大学 发布 JMMMU-Pro 数据集, 应用在 多模态理解、日语处理 领域

东京大学 本次发布的数据集 JMMMU-Pro, JMMMU-Pro是由东京大学团队开发的基于图像的多学科多模态理解基准数据集，旨在评估模型对日语视觉-文本信息的整合理解能力。该数据集包含1320个问题，源自JMMMU基准，通过先进图像生成模型Nano Banana Pro将问题和对应图像融合为单一复合图像，覆盖多样化背景和布局设计。数据集构建采用创新的Vibe Benchmark Construction方法，以生成模型为主导、人工校验为辅，显著提升构建效率。其核心应用领域为评估大型多模态模型在日语环境下的视觉感知与复杂推理能力，尤其关注开源模型的性能瓶颈，为日语LMM发展提供重要基准工具。

查看JMMMU-Pro

关于 东京大学 , 东京大学是日本最古老、最有声望的研究型国立大学，以其在多个学术领域的卓越研究与教育而闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。