宾夕法尼亚大学 发布 MedFrameQA 数据集, 应用在 医学图像分析、视觉问答系统 领域

宾夕法尼亚大学 本次发布的数据集 MedFrameQA, MedFrameQA是一个多图像医疗VQA基准数据集，旨在模拟临床推理流程。数据集包含从3,420个医学视频中提取的9,237个高质量帧，形成了2,851个VQA对，涵盖了九个人体系统和43个器官。每个问题都配有两到五张图像，要求模型进行复杂且全面的推理。数据集的创建过程包括自动提取视频中时间上连贯的帧，以及多阶段的过滤策略来保证数据的质量、难度和医学相关性。该数据集主要用于评估多模态大型语言模型在医学图像领域的推理能力，旨在解决当前模型在实际临床诊断中推理能力不足的问题。

查看MedFrameQA

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。