清华大学 发布 CPRet 数据集, 应用在 程序设计竞赛、代码检索 领域

清华大学 本次发布的数据集 CPRet, CPRet 是一个针对程序设计竞赛的检索基准套件，包含四个检索任务：两个以代码为中心（即 Text-to-Code、Code-to-Code）和两个新提出的以问题为中心的任务（即 Problem-to-Duplicate、Simplified-to-Full），由自动抓取的问题-解决方案数据和手动注释的组合构建。我们的贡献包括高质量的训练数据和可靠的评估所需的时分离测试集。此外，我们还基于此数据集开发了两个任务特定的检索器：CPRetriever-Code，通过一个新颖的 Group-InfoNCE 损失进行问题-代码对齐训练，以及 CPRetriever-Prob，为识别问题级相似性进行了微调。这两个模型都取得了优异的结果，并已开源供本地使用。最后，我们对 LiveCodeBench 进行了分析，发现高相似度问题提高了模型通过率并降低了差异化，突出了未来基准测试中需要考虑相似性的重要性。

查看CPRet

README 内容： 

关于 清华大学 , 清华大学是中华人民共和国教育部直属的全国重点大学，位于北京市，是中国的顶尖学府之一，具有很高的国际声誉。该校在工程、计算机科学、材料科学等领域有着突出的研究成果。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。