东北大学 发布 STUDENTEVAL 数据集, 应用在 编程教育、代码生成模型评估 领域

东北大学 本次发布的数据集 STUDENTEVAL, STUDENTEVAL是一个由东北大学、韦尔斯利学院和奥伯林学院的学生创建的数据集，包含1749个初学者编写的Python编程问题提示，用于评估大型代码语言模型。该数据集通过学生与Code LLM的交互式工作创建，旨在解决现有基准测试中专家提示与初学者需求不匹配的问题。STUDENTEVAL通过提供多样化的提示，帮助评估模型在处理不同技能水平提示时的表现，特别关注于教育领域中代码生成模型的应用和教学方法的改进。

查看STUDENTEVAL

Dataset card 内容： 

Files and versions 内容： 

关于 东北大学 , 东北大学是一所位于中国辽宁省沈阳市的综合性大学，成立于1923年，是中国教育部直属的重点大学之一，以工科为主，涵盖理、工、文、管、法、经、教育等多个学科领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。