天津大学 发布 ProBench 数据集, 应用在 编程竞赛、算法评估 领域

天津大学 本次发布的数据集 ProBench, ProBench是一个针对竞赛编程的大型语言模型评估基准，由天津大学提出。该数据集从Codeforces、Luogu和Nowcoder三个编程竞赛平台收集了2024年7月至12月期间的竞赛问题，通过在线提交生成的代码解决方案，利用原竞赛平台的全面测试用例来严格评估代码的正确性。数据集包含问题描述、难度等级和算法标签等详细信息，旨在全面、公平、深入地分析大型语言模型在竞赛编程中的推理能力。

查看ProBench

README 内容： 

关于 天津大学 , 天津大学是中国著名的理工科大学，位于天津市，具有深厚的学术传统和科研实力。其智能与计算学院致力于人工智能、计算机科学等领域的研究与教学，为社会输送了众多高科技人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。