复旦大学 发布 ClassEval 数据集, 应用在 代码生成、模型评估 领域

复旦大学 本次发布的数据集 ClassEval, ClassEval是由复旦大学开发的手工构建的数据集，用于评估大型语言模型在类级别代码生成上的表现。该数据集包含100个类级别的Python代码生成任务，涉及约500个人工小时的工作。ClassEval覆盖了实际软件开发的广泛主题，如管理系统、游戏开发等。每个任务都设计有高测试充分性的测试套件，以确保生成的代码的正确性。数据集旨在解决现有评估在简单代码生成场景上的局限性，提供一个更复杂、更接近实际开发环境的评估基准。

查看ClassEval

README 内容： 

关于 复旦大学 , 复旦大学是中国的一所综合性研究型大学，以其在多个学科领域的卓越表现和研究成果享誉全球。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。