北京大学 发布 CoderUJB 数据集, 应用在 编程基准、软件工程 领域

北京大学 本次发布的数据集 CoderUJB, CoderUJB是由北京大学团队开发的综合性Java基准数据集，包含2239个编程问题，这些问题从17个真实的开源Java项目中提取。数据集设计用于评估大型语言模型在实际编程场景中的性能，特别强调代码的可执行性和多任务处理能力。该数据集覆盖了五种实际编程任务，包括功能代码生成、基于代码的测试生成、基于问题的测试生成、缺陷检测和自动程序修复。通过这些任务，CoderUJB旨在提供一个全面的评估框架，以测试和改进大型语言模型在软件工程中的应用。

查看CoderUJB

README 内容： 

关于 北京大学 , 北京大学是中国著名的高等教育机构，主要负责培养高等学历人才，致力于促进科技文化的发展。学校提供多层次的学历教育，包括医学、教育学、哲学、经济学、法学、文学、历史学、理学、工学、管理学等各类学科的专科、本科、硕士和博士研究生学历教育，同时还进行博士后培养。在数据资源方面，北京大学拥有丰富多样的数据集，这些数据集涵盖了各个学科的广泛领域，虽然具体数据集特点各异，但都体现了北大学术研究的深度和广度。通过这些数据集，可以一窥北大在科研和教育方面的实力与成果。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。