德克萨斯大学奥斯汀分校 发布 CHARTMUSEUM 数据集, 应用在 图表问答、视觉推理 领域

德克萨斯大学奥斯汀分校 本次发布的数据集 CHARTMUSEUM, CHARTMUSEUM 是一个图表问答基准数据集，旨在评估大型视觉语言模型（LVLMs）在真实图表上的复杂视觉和文本推理能力。该数据集由13位计算机科学研究人员创建，包含1162个（图像、问题、答案）元组，这些元组来源于928个独特的真实世界图像，跨越了184个网站。与先前基准数据集不同，CHARTMUSEUM 中的所有问题都是由研究人员手动策划的，没有使用大型语言模型（LLMs）的辅助。数据集中的问题涵盖了多种推理类型，包括文本推理、视觉推理、文本/视觉推理和综合推理。通过评估10个开源模型和11个专有模型，CHARTMUSEUM 暴露了模型和人类性能之间的巨大差距，表明现有的 LVLMs 在视觉推理方面存在显著不足。

查看CHARTMUSEUM

关于 德克萨斯大学奥斯汀分校 , 德克萨斯大学奥斯汀分校是美国一所著名的公立研究型大学，以其在计算机科学、工程学和自然科学等领域的杰出研究和教学而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。