香港中文大学 发布 COFFE 数据集, 应用在 代码生成、软件工程 领域

香港中文大学 本次发布的数据集 COFFE, COFFE是一个用于评估大型语言模型生成的代码解决方案时间效率的代码生成基准。该数据集基于现有的正确性基准HumanEval、MBPP、CodeContests和APPS构建，包含函数级别和文件级别的代码生成问题，通过引入压力测试用例生成方法STGen来提高测试用例的区分度。数据集共包含756个问题，旨在解决代码生成中时间效率评估的挑战，应用领域为软件工程，特别是大型语言模型在代码生成方面的研究。

查看COFFE

关于 香港中文大学 , 香港中文大学，简称中大，是一所位于中国香港的公立研究型大学，成立于1963年，是香港的第一所新制大学。中大在多个学科领域都有显著的研究成果和学术贡献，是亚洲领先的大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。