斯坦福大学 发布 CodeARC 数据集, 应用在 程序合成、软件测试 领域

斯坦福大学 本次发布的数据集 CodeARC, CodeARC是一个用于评估大型语言模型在归纳程序合成方面的推理能力的新框架。该数据集包含1114个函数，旨在解决归纳程序合成的问题，其中代理需要与隐藏的目标函数交互，通过查询新的输入、合成候选函数，并使用微分测试代理来检查合成函数的正确性。数据集针对通用编程任务，采用两种最先进的微分测试工具进行正确性评估。

查看CodeARC

关于 斯坦福大学 , 斯坦福大学是美国的一所私立研究型大学，位于加利福尼亚州的斯坦福，是美国硅谷的学术中心之一，在多个学科领域享有很高的声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。