哥伦比亚大学 发布 DyCodeEval 数据集, 应用在 编程语言处理、机器学习模型评估 领域

哥伦比亚大学 本次发布的数据集 DyCodeEval, DyCodeEval是一个用于评估代码大型语言模型在数据污染情况下的推理能力的动态基准测试套件。该数据集通过多个代理在保持核心逻辑不变的情况下提取和修改上下文，生成语义等价的变体，旨在解决静态基准测试方案在数据污染和模型训练过程缺乏透明度的问题。DyCodeEval能够生成多样化的编程问题集，确保在数据污染风险下的评估一致性可靠性。

查看DyCodeEval

关于 哥伦比亚大学 , 哥伦比亚大学是一所位于美国纽约市的著名私立研究型大学，以其卓越的学术水平和多元化的校园文化而闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。