five
五号数据雷达
产品上架
产权登记
知识产权
公共数据
红麦舆情监测系统
北京国际大数据交易所2024-06-05 收录850
舆情监测
数据分析
资源简介:
红麦舆情监测系统有着国内先进的技术水平,系统的主要技术特色有:分布式架构、智能抓取、文章内容提取、文章相似度分析、内容倾向性分析、文章权重分析、境外采集技术以及IP防封技术。分布式架构:采用先进的分布式架构,能够通过扩充服务器规模扩展采集能力,以应对日益庞大的互联网信息规模。文章内容提取:采集站点时系统采用站点管理中添加的站点标题、内容、作者和发布时间等规则信息进行内容提取,对于没有配置内容规则的站点将尝试使用自动HTML内容萃取技术来提取正文。文章相似度分析:判断文章与文章之间是否相似性采用Apache Solr实现,在向Solr提交一个相关性查询请求时,系统会返回已经建立全文索引后的相似文章列表,当相似性阈值达到某个值则认为两篇文章是相似文章。内容倾向性分析:在计算某篇文章的倾向性时,通过语义分析、行业关键词、特殊关键词、人工辅助甄别和机器学习等方式来分析文章的倾向性。文章权重分析:计算某篇文章的权重时,通过该文章的浏览次数、回复次数、出现网站的级别和位置(重点网站和普通网站权重不同)等属性来计算文章的重要性。
原始地址:
提供机构:
红麦聚信(北京)软件技术有限公司
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

二维码
关注我们