中山大学 发布 FeedbackEval 数据集, 应用在 代码修复、软件开发 领域

中山大学 本次发布的数据集 FeedbackEval, FeedbackEval是一个用于评估大型语言模型在反馈驱动的代码修复任务中的性能的基准。该数据集由中山大学软件工程学院创建，包含了394个编码任务，涵盖了多种编程场景，每个任务都包含了错误代码段和四种不同类型的反馈。数据集旨在模拟真实软件开发场景中开发者从各种来源接收到的指导，包括结构化的测试反馈和编译器反馈，以及非结构化的人类反馈和简单反馈。

查看FeedbackEval

README 内容： 

关于 中山大学 , 中山大学是中国的一所综合性大学，位于广东省广州市，是华南地区的重要高等学府之一，拥有多个学院和研究机构，涵盖了广泛的学科领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。