随着全球医疗数字化转型持续推进，大语言模型在放射诊疗、影像辅助分析等医疗场景的落地进程不断加快，但长期以来，针对垂直医疗领域的专业能力评测始终缺乏标准化、体系化的基准工具，难以准确校验大模型在临床落地场景中的真实可靠性——不少大模型在通用知识测试中得分亮眼，但面对专业度极高的细分医疗场景时，往往会出现知识错误、输出不符合临床规范等问题，「高分低能」成为医疗大模型落地的核心阻碍之一。在此背景下，加拿大卡尔加里大学团队正式发布的MRI-Eval专项评测数据集，为磁共振成像（MRI）领域的大模型能力评估提供了统一的测试框架。
作为聚焦MRI全链路知识的分层评测基准，本次发布的MRI-Eval数据集共包含1365道标准化多选题，内容覆盖GE扫描仪操作、脉冲序列设计、临床安全规范等9大核心类目，同时设置了入门、进阶、专家3个难度层级，可适配不同应用定位的大模型评测需求。该数据集所有题目均源自MRI领域权威教材、GE设备厂商官方操作手册以及放射科临床专家原创生成的专业问题，权威性与专业性得到充分保障。其核心设计目标是精准评估大语言模型对MRI领域专业知识的掌握程度，尤其可有效揭示部分大模型在多选题测试中取得高分、但面向真实临床场景的生成式回忆与应用能力存在明显不足的问题，打破了过往大模型评测「唯分数论」的评估误区，为MRI研究场景中LLM的可靠性验证提供了关键评估工具。
从行业应用价值来看，MRI-Eval数据集的落地场景覆盖技术研发、模型训练、人才培养等多个维度：在MRI设备与技术研发场景中，设备厂商、影像技术研发团队可借助该数据集评估智能扫描助手、序列优化AI工具的专业知识匹配度，辅助降低基层医疗机构MRI设备的操作门槛；在医疗大模型研发场景中，AI企业可将其作为放射科专用大模型的核心校验工具，也可参考其知识体系开展模型微调，提升大模型在MRI影像辅助诊断、临床决策支持等场景的输出可靠性；在医学教育培训场景中，医学院影像专业、医院放射科也可借助该分层题库开展学员能力考核，替代零散的考核资料，提升培训标准化程度。当前全球数据要素市场建设不断深化，垂直领域专业数据集作为AI技术落地的核心底座，其价值不断凸显，本次MRI-Eval的发布不仅填补了MRI领域大模型专业评测的空白，也为其他医疗细分领域的专业评测数据集构建提供了可参考的范式。
详情页内容：
_1769672084863.jpg)