趋势科技AI实验室 发布 PRIMUS 数据集, 应用在 网络安全、自然语言处理 领域

趋势科技AI实验室 本次发布的数据集 PRIMUS, PRIMUS数据集是由趋势科技AI实验室创建的一套开源数据集，包含预训练、指令微调和推理精炼三个阶段的数据集，旨在探索网络安全领域的大型语言模型训练。该数据集涵盖了多个网络安全任务，包括警报解释、可疑命令分析、安全事件查询生成等。数据集从多个来源收集高质量网络安全文本，并通过一系列预处理步骤，如语言模型过滤、去重、质量过滤等，形成了约2.58亿个标记的数据集。

查看PRIMUS

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。