伦敦国王学院 发布 SciReplicate-Bench 数据集, 应用在 自然语言处理、机器学习模型评估 领域

伦敦国王学院 本次发布的数据集 SciReplicate-Bench, SciReplicate-Bench是一个专为评估大型语言模型在从学术文章中生成代码的能力而设计的基准数据集。该数据集由36篇顶级自然语言处理会议论文中的100个代码复现任务组成，涵盖了算法理解与代码实现两个关键步骤。数据集基于最新发表的论文和开源代码仓库构建，旨在评估语言模型在理解算法描述、实现细节以及处理代码依赖等方面的能力。

查看SciReplicate-Bench

README 内容： 

关于 伦敦国王学院 , 伦敦国王学院是位于英国伦敦的一所公立研究型大学，是英国罗素集团成员之一，拥有多个学科领域的优秀研究实力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。