浙江大学 发布 NoCode-bench 数据集, 应用在 语言模型、无代码开发 领域

浙江大学 本次发布的数据集 NoCode-bench, NoCode-bench是一个用于评估语言模型在自然语言驱动特征添加任务上的能力的基准数据集。该数据集包含634个实例，涉及10个开源项目，总共约114k代码更改。每个实例都包含用户文档更改和相应的代码实现，并可以使用开发者编写的测试用例进行验证。数据集的构建过程包括五个阶段：项目选择、实例收集、环境构建、实例筛选和输入精炼。此外，还提供了一个名为NoCode-bench Verified的人工验证子集，包含114个高质量实例，其任务清晰度和评估有效性已手动验证。该数据集可用于推动基于语言模型软件工程的研究，特别是在无代码特征添加方面。

查看NoCode-bench

Dataset card 内容： 

Files and versions 内容： 

关于 浙江大学 , 浙江大学是中国的一所综合性、研究型大学，位于浙江省杭州市。学校成立于1897年，是中国著名的高等学府之一，拥有多个学科领域的优秀研究成果。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。