洛桑联邦理工学院 发布 OS-HARM 数据集, 应用在 计算机安全、代理模型评估 领域

洛桑联邦理工学院 本次发布的数据集 OS-HARM, OS-HARM是一个用于衡量计算机使用代理安全性的新基准，旨在测试模型在三种危害类别中的表现：故意用户滥用、提示注入攻击和模型误行为。该数据集包含150个任务，涉及多种安全违规类型（骚扰、版权侵犯、虚假信息、数据泄露等），并要求代理与各种操作系统应用程序（邮件客户端、代码编辑器、浏览器等）进行交互。此外，还提出了一种自动评判系统来评估代理的准确性和安全性，该系统与人工标注高度一致（F1分数为0.76和0.79）。OS-HARM基准可用于评估计算机使用代理的安全性，并有助于理解和提高这些代理的安全性和可靠性。

查看OS-HARM

README 内容： 

关于 洛桑联邦理工学院 , 洛桑联邦理工学院是瑞士的一所世界顶级研究型大学，以其在工程、科技和自然科学领域的卓越教育和创新研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。