伊利诺伊大学香槟分校 发布 SEC-bench 数据集, 应用在 软件安全、机器学习评估 领域

伊利诺伊大学香槟分校 本次发布的数据集 SEC-bench, SEC-bench是一个自动化的基准测试框架，用于评估大型语言模型（LLM）代理在真实软件安全任务上的能力。该数据集包含了200个真实世界的CVE实例，每个实例都经过验证并具有可重现的漏洞利用（PoC）和经过验证的安全补丁。数据集的创建过程采用了多代理支撑结构，自动构建带有测试用例的代码仓库，在隔离环境中重现漏洞，并生成金标补丁以进行可靠评估。数据集的访问地址为https://hf.co/datasets/SEC-bench/SEC-bench。数据集旨在解决LLM代理在真实世界软件安全任务上的性能评估问题，通过实现两个关键的软件安全任务（PoC生成和漏洞补丁）来评估LLM代理的能力。

查看SEC-bench

关于 伊利诺伊大学香槟分校 , 伊利诺伊大学香槟分校是一所位于美国伊利诺伊州的公立研究型大学，以其在工程、计算机科学和农业领域的卓越教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。