新加坡国立大学 发布 OSS-BENCH 数据集, 应用在 软件评估、机器学习 领域

新加坡国立大学 本次发布的数据集 OSS-BENCH, OSS-BENCH是一个自动基准生成器，用于从真实世界的开源软件中自动构建大规模、实时评估任务。它通过将LLM生成的代码替换函数并使用三个自然指标（可编译性、功能性正确性和内存安全性）来评估它们。OSS-BENCH使用编译失败、测试套件违规和清理程序警报作为真实值，避免了过度拟合的问题，并突出了LLMs对低级代码安全的有限理解。OSS-BENCH为评估LLMs的实时编码能力提供了一个实用且可扩展的框架。

查看OSS-BENCH

关于 新加坡国立大学 , 新加坡国立大学是新加坡的一所综合性大学，是亚洲知名的高等学府之一，提供多个学科的教育与研究，其计算机学院在计算机科学领域享有较高声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。