北京大学 发布 CoCo-Bench 数据集, 应用在 软件开发、自然语言处理 领域

北京大学 本次发布的数据集 CoCo-Bench, CoCo-Bench 是一个全面的代码基准数据集，旨在评估大型语言模型（LLMs）在软件开发中的能力。该数据集包括多种编程语言和不同难度的任务，涵盖了代码理解、代码生成、代码修改和代码审查四个关键维度。它通过严格的手动审查确保数据质量和准确性。CoCo-Bench 的设计使其能够更全面地评估 LLMs 的性能，为软件开发领域提供了一个可靠的标准。

查看CoCo-Bench

关于 北京大学 , 北京大学是中国著名的高等学府，成立于1898年，是中国最早的国立综合性大学，也是国家首批“211工程”和“985工程”重点支持的大学之一，涵盖了广泛的学科领域，在国内外享有很高的声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。