马里兰大学 发布 SecRepoBench 数据集, 应用在 代码安全、机器学习评估 领域

马里兰大学 本次发布的数据集 SecRepoBench, SecRepoBench 是一个用于评估大型语言模型在真实世界代码库中生成安全代码的基准数据集。该数据集包含了来自27个C/C++代码库的318个代码生成任务，涵盖了15种常见弱点枚举（CWEs）。SecRepoBench 通过利用已知的安全漏洞构建任务，旨在评估LLMs生成安全代码的能力。它采用了动态测试方法来评估LLMs生成代码的正确性和安全性，为研究者提供了研究LLMs在真实世界代码生成中的能力提供了重要的数据资源。

查看SecRepoBench

关于 马里兰大学 , 马里兰大学是美国一所著名的公立研究型大学，成立于1856年，主校区位于马里兰州的学院公园。马里兰大学巴尔的摩分校是其分校之一，专注于医学、法律和公共事务等领域的教育与研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。