中国电子科技大学深圳研究院 发布 ComplexCodeEval 数据集, 应用在 代码分析、模型评估 领域

中国电子科技大学深圳研究院 本次发布的数据集 ComplexCodeEval, ComplexCodeEval是一个用于评估大型代码模型在复杂代码环境中性能的基准数据集。该数据集由中国电子科技大学深圳研究院创建，包含3897个Java样本和7184个Python样本，总计11081条数据。数据集的样本来自1055个高星级的Java GitHub仓库和2107个高星级的Python GitHub仓库。创建过程中，数据集筛选了69个流行的Java框架和55个流行的Python包，确保样本的多样性和真实性。每个样本包含多种注释，如函数签名、文档字符串和参考API，以适应多种下游任务。数据集的应用领域包括代码生成、代码补全、API推荐和测试用例生成，旨在解决实际开发中的编程挑战。

查看ComplexCodeEval

关于 中国电子科技大学深圳研究院 , 中国电子科技大学深圳研究院是中国电子科技大学在深圳设立的研究机构，致力于推动科技创新和产学研合作。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。