香港城大发布OpenSkillRisk基准数据集 补全大模型智能体第三方技能安全评测能力
当前，大语言模型驱动的智能体技术正加速在办公协同、智能家居、工业运维、公共服务等多领域落地，调用第三方公开技能已经成为智能体扩展能力边界、适配复杂场景的核心路径。但伴随SkillsMP、Skills.rest等第三方技能市场的快速扩张，技能供给侧良莠不齐带来的安全隐患愈发凸显：恶意第三方技能可能触发控制平面劫持、权限扩张等风险，进而造成用户隐私泄露、设备被恶意操控、生产系统停摆等严重后果。长期以来，业内针对智能体安全的评测多聚焦大模型本身的内容对齐风险，缺少针对第三方技能调用环节的专门化、标准化测试基准，这一现状也制约了智能体安全防御体系的迭代速度。2026年7月22日，香港城市大学团队于arXiv平台首发的OpenSkillRisk数据集，正是瞄准这一行业痛点推出的专项评测基准。
据介绍，OpenSkillRisk是由香港城市大学等机构构建的专门用于评估智能体系统安全性的基准数据集，核心目标是系统量化第三方技能引入的潜在风险。该数据集共纳入263个从公开技能市场收集的真实风险技能，覆盖控制平面劫持、权限扩张等七类当前高发的第三方技能安全威胁。为保障评测过程的可控性与结果的可比性，每个风险技能均配备了标准化的用户测试任务与独立隔离沙箱环境，测试过程中可完全阻断风险向真实系统传导。整个数据集的构建历经风险技能多轮筛选、测试任务与沙箱环境自动生成、专业安全团队人工校验等多个环节，最大程度确保了样本的真实性、风险类型的多样性与标注的准确性。
从应用价值来看，该数据集主要用于评估基于大语言模型的智能体系统在开放世界场景中，识别与规避第三方技能安全风险的能力，一方面可以帮助厂商快速定位现有智能体系统的安全漏洞，另一方面也可为行业研发更鲁棒的安全防御机制提供统一的测试标尺。除此之外，OpenSkillRisk还可应用于第三方安全机构的智能体产品安全评级、监管层面的智能体入市合规评测、AI安全领域的学术研究等多个场景，是AI安全治理领域重要的公共数据资源。当前我国正加快推进数据要素市场建设与通用人工智能可信治理体系构建，这类垂直领域的公共基准数据集的供给，不仅能降低全行业的安全研发成本，也将为智能体产业的合规、规模化落地提供重要的基础设施支撑。
详情页内容：
_1769672084863.jpg)