北京航空航天大学 发布 CodeIF 数据集, 应用在 代码生成、自然语言处理 领域

北京航空航天大学 本次发布的数据集 CodeIF, CodeIF是由北京航空航天大学、清华大学和新加坡国立大学的研究人员共同创建的一个代码生成任务评估基准。该数据集包含1200个代码生成任务，任务涵盖Java、Python、Go和C++四种编程语言，分为简单和困难两个难度级别。数据集通过收集和细化真实代码生成任务中的约束指令构建而成，旨在评估大型语言模型遵循任务导向指令的能力，涵盖函数合成、错误调试、算法重构和代码解释等多种任务类型。

查看CodeIF

README 内容： 

关于 北京航空航天大学 , 北京航空航天大学是中国的一所综合性全国重点大学，位于北京市，直属于工业和信息化部，是新中国第一所航空类高等学府，也是国家首批“211工程”和“985工程”重点建设的高校之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。