普渡大学 发布 Collu-Bench 数据集, 应用在 代码生成、幻觉检测 领域

普渡大学 本次发布的数据集 Collu-Bench, Collu-Bench是由普渡大学创建的一个用于预测语言模型在代码中产生幻觉的基准数据集。该数据集包含13,234个代码幻觉实例，收集自五个数据集和11个不同的大型语言模型。数据集内容丰富，包括每一步的日志概率、Token类型和执行反馈等详细特征，旨在帮助研究人员深入分析代码幻觉。创建过程中，通过自动化管道处理程序等价性和标识符可行性，确保幻觉Token位置的准确性。Collu-Bench主要应用于代码生成和自动化程序修复任务，旨在解决大型语言模型在代码生成过程中产生的幻觉问题，提高代码的准确性和可靠性。

查看Collu-Bench

Dataset card 内容： 

Files and versions 内容： 

关于 普渡大学 , 普渡大学是一所位于美国印第安纳州的著名公立研究型大学，以其在工程、商学和科学领域的优秀教育和创新研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。