英国卫生安全局 发布 PubHealthBench 数据集, 应用在 公共健康、自然语言处理 领域

英国卫生安全局 本次发布的数据集 PubHealthBench, PubHealthBench是一个用于评估大型语言模型（LLM）在公共健康领域知识的新基准，包含了超过8000个针对公共健康查询的多项选择题和自由回答问题。该数据集由英国卫生安全局从超过1000份公开可用的英国政府网站（gov.uk）上的PDF和HTML文档中收集、提取并格式化为Markdown格式。数据集涵盖了10个公共健康主题领域和352个指导领域，共计687份包含英国政府公共健康信息的文档。该数据集旨在帮助研究人员和开发人员评估和改进LLM在公共健康领域的知识水平，并为公共健康咨询提供更准确的信息来源。

查看PubHealthBench

Dataset card 内容： 

Files and versions 内容： 

关于 英国卫生安全局 , 英国卫生安全局是英国政府的一个执行机构，负责公共卫生保护、传染病控制和健康安全。它通过预防、检测和应对健康威胁，保护公众健康。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。