耶鲁大学 发布 MEDAGENTSBENCH 数据集, 应用在 医疗推理、评估基准 领域

耶鲁大学 本次发布的数据集 MEDAGENTSBENCH, MEDAGENTSBENCH是一个专门设计用于评估复杂医疗推理任务的基准，由耶鲁大学等机构的研究人员创建。该数据集从七个成熟的医疗数据集中精心挑选出复杂问题，这些问题需要多步骤的临床推理、诊断制定和治疗计划。数据集旨在解决现有评估中存在的三个关键问题：简单问题过多、抽样和评估协议不一致、缺乏性能、成本和推理时间的系统分析。数据集包含了来自MedQA、PubMedQA、MedMCQA、MedBullets、MMLU、MMLU-Pro、MedExQA和MedXpertQA等数据集的问题，通过严格的筛选过程确保问题难度，并包含了医学专业人士的人工注释来验证推理深度要求。

查看MEDAGENTSBENCH

README 内容： 

关于 耶鲁大学 , 耶鲁大学是美国的一所著名私立常春藤盟校，位于康涅狄格州的纽黑文市，是美国历史上第三古老的高等教育机构，提供广泛的本科和研究生课程。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。