亚马逊 发布 Document Haystack 数据集, 应用在 多模态检索、视觉语言模型 领域

亚马逊 本次发布的数据集 Document Haystack, Document Haystack是一个全面的基准测试，旨在评估视觉语言模型(VLMs)在长篇复杂文档中检索关键多模态信息的能力。数据集包含400个文档变体，总共8250个问题，涵盖从5页到200页不等的文档，并在文档的不同深度和格式中插入纯文本或文本+图像“针”以挑战VLMs的检索能力。该数据集支持一个客观、自动化的评估框架，并提供了对VLMs在处理长篇视觉文档方面的性能的全面评估。

查看Document Haystack

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。