CyberMetric 数据集精心设计了10,000个问题,旨在综合评估大模型的网络安全知识。该数据集采用不同大模型创建,并由网络安全领域的人类专家进行了验证,以确保其相关性和准确性。原始数据来源于标准、认证、研究论文、书籍以及其他网络安全领域的出版物。为满足不同研究需求,数据集提供4种规模版本:小型至超大型,问题数分别为80、500、2000及10,000。特别是CyberMetric-80,旨在为不同大模型与人类比较而设计,已经接受了30名人类的测试,使得人类与机器智能之间的有效比较成为可能。
数据集地址:https://github.com/cybermetric/CyberMetric





_1769672084863.jpg)