PatSnap Co., LTD. 发布 Biopharmaceuticals Retrieval-Augmented Generation Evaluation (BRAGE) 数据集, 应用在 生物制药、自然语言处理 领域

PatSnap Co., LTD. 本次发布的数据集 Biopharmaceuticals Retrieval-Augmented Generation Evaluation (BRAGE), BRAGE是一个专为评估大规模语言模型在生物制药领域的查询与参考理解能力（QRUC）而设计的多语言基准数据集。该数据集包含了开放式的生物制药领域查询，旨在解决传统封闭式查询基准存在的问题，如预定义答案无法评估QRUC，以及数据快速演变导致一些查询只能通过LLM的内部知识正确回答。BRAGE由400个生物制药查询和相应的相关与无关参考组成，涵盖了基本生物学、药物开发与设计、临床转化与应用等多个子领域，以评估LLM在利用增补参考回答查询时的性能。

查看Biopharmaceuticals Retrieval-Augmented Generation Evaluation (BRAGE)

关于 PatSnap Co., LTD. , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。