上海交通大学 发布 CORECODEBENCH 数据集, 应用在 代码开发、机器学习评估 领域

上海交通大学 本次发布的数据集 CORECODEBENCH, CORECODEBENCH是一个可配置的多场景仓库级基准数据集，旨在评估大型语言模型在工程级代码处理方面的性能。该数据集通过CorePipe自动化流程从GitHub仓库中生成，包括开发、bug修复和测试驱动开发三种类型的原子问题，以及三种复合问题类型，难度可灵活调整。数据集的设计考虑了工程实践中代码的多样性和复杂性，通过实验表明，CORECODEBENCH能够有效地评估LLMs在工程级代码开发中的实际能力和适应性。

查看CORECODEBENCH

Dataset card 内容： 

Files and versions 内容： 

关于 上海交通大学 , 上海交通大学是中国一所以工程教育为特色，工、理、管、文、法、经济、艺术等多学科协调发展的全国重点大学，是中国“双一流”建设高校之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。