德国达姆施塔特工业大学 发布 ThreatCrawl 数据集, 应用在 网络安全、网络威胁情报 领域

德国达姆施塔特工业大学 本次发布的数据集 ThreatCrawl, 本文提出了一种名为ThreatCrawl的系统，旨在通过多臂老虎机（MAB）和多种爬取策略，动态地识别和爬取与网络威胁情报（CTI）相关的网页。该系统使用SBERT嵌入技术来识别相关文档，并根据内容动态调整爬取路径。ThreatCrawl系统在爬取过程中实现分类，并且能够维持主题焦点，有效地扩展了种子集合。该数据集主要用于评估ThreatCrawl系统的有效性，其中包含了多种爬取策略组合的结果，如前向链接搜索、后向链接搜索和关键词搜索等。数据集的大小、数据量和Tokens数等信息在论文中并未提及。

查看ThreatCrawl

关于 德国达姆施塔特工业大学 , 德国达姆施塔特工业大学是位于德国黑森州达姆施塔特的一所 Technical University，以工程学、计算机科学等学科闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。