本古里安大学 发布 MedConceptsQA 数据集, 应用在 医学问答、模型评估 领域

本古里安大学 本次发布的数据集 MedConceptsQA, MedConceptsQA是一个开放源代码的医学概念问答基准数据集，由本古里安大学软件与信息系统工程系的研究团队创建。该数据集包含超过800,000个问题，涵盖诊断、程序和药物等多种医学概念，并分为简单、中等和困难三个难度级别。数据集的创建过程涉及使用PyHealth工具将医学代码词汇表表示为无向图，并根据不同难度级别随机选择或按距离选择替代医学代码。该数据集主要用于评估大型语言模型在医学领域的理解和推理能力，特别是对于临床大型语言模型（CLLMs）的性能评估。

查看MedConceptsQA

Dataset card 内容： 

Files and versions 内容： 

关于 本古里安大学 , 本古里安大学（Ben-Gurion University of the Negev）是以色列的一所公立研究型大学，位于内盖夫沙漠的贝尔谢巴市。该校以其在科学、工程、医学和社会科学等领域的研究而闻名，尤其在可再生能源和水资源管理方面有显著贡献。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。