斯滕斯理工学院 发布 CLAIM-BENCH 数据集, 应用在 自然语言处理、科学文本分析 领域

斯滕斯理工学院 本次发布的数据集 CLAIM-BENCH, CLAIM-BENCH是一个用于评估大型语言模型（LLMs）在科学论断提取和验证方面能力的全面基准。该数据集由4名具有研究经验的博士生根据特定指南进行整理，包括从2024年的非数学密集型、长度在0到20页的研究论文中选取。为了确保数据集的可靠性，我们对30篇论文进行了重新标注，并测量了标注者之间的一致性。数据集在GitHub上公开发布，为LLMs的科学理解评估提供了新的标准。

查看CLAIM-BENCH

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。