中山大学 发布 MultiCodeIF 数据集, 应用在 代码生成、机器学习评估 领域

中山大学 本次发布的数据集 MultiCodeIF, MultiCodeIF是一个全面的数据集，用于评估代码生成中LLM的指令跟随能力。该数据集包含2021个代码任务，来自14种编程语言，并支持多轮评估。数据集基于一个结构化的分类法，包括9个类别和27种约束类型，使对功能和非功能指令遵守的粒度评估成为可能。数据集是通过一个自动化的管道ConstraGen合成的，它使用真实世界的种子代码和提取的编程概念来定义一个基于层次分类法的结构化约束系统，并利用先进的LLM来合成约束一致的任务。

查看MultiCodeIF

README 内容： 

关于 中山大学 , 中山大学是中国的一所综合性大学，位于广东省广州市，是中国南方地区的重要高等学府之一，拥有多个学科领域的研究实力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。