伦敦国王学院 发布 AMQA 数据集, 应用在 医学问答、偏见评估 领域

伦敦国王学院 本次发布的数据集 AMQA, AMQA（对抗性医学问答数据集）是一个旨在评估大型语言模型（LLMs）在医学问答中的偏见的对抗性数据集。它包含了4,806个医疗问答对，这些问答对来源于美国执业医师考试（USMLE）数据集，并由多智能体框架生成不同的对抗性描述和问题对。AMQA允许对LLMs进行自动的大规模偏见评估，并揭示了不同社会群体间存在的系统性偏差。该数据集的构建过程包括临床案例过滤、对抗性变体构建和人工质量控制，以确保公平性和诊断中立性。AMQA的发布旨在推动可重复的研究，并促进可信的、具有偏见意识的医疗AI的发展。

查看AMQA

README 内容： 

关于 伦敦国王学院 , 伦敦国王学院是一所享誉全球的顶尖公立研究型大学，位于英国伦敦，以其优秀的教学和研究质量而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。