阿里巴巴集团 发布 EXECREPOBENCH 数据集, 应用在 代码生成、编程 领域

阿里巴巴集团 本次发布的数据集 EXECREPOBENCH, EXECREPOBENCH是由阿里巴巴集团创建的一个用于代码完成任务的评估基准数据集，包含1.2K个来自50个活跃Python仓库的样本。该数据集通过多级语法树解析，对代码片段进行多层次的掩码处理，以模拟真实编程环境中的复杂依赖关系。数据集的创建过程包括从GitHub收集活跃的Python仓库，并将其转换为可执行格式，同时生成相应的测试用例。EXECREPOBENCH主要用于评估和提升开源大语言模型在实际编程场景中的代码完成能力，旨在解决代码生成和补全中的复杂依赖问题。

查看EXECREPOBENCH

关于 阿里巴巴集团 , 阿里巴巴集团是一家中国的跨国科技公司，主要涉及电子商务、零售、互联网和科技服务等领域，是全球最大的零售商之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。