基于机器学习的暗网威胁情报分析

来源 :齐鲁工业大学 | 被引量 : 1次 | 上传用户:lianxirenll520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网以前所未有的广度和便利性促进了全世界人类之间的互动,但是,暗网的出现以及日趋成熟,严重威胁了我们的社会和公共安全。因此,研究如何探索暗网的网络空间具有重要的意义。暗网的域名不同于明网域名,具有不公开,存在时间较短,更新换代快的特点,因此暗网域名以及暗网市场识别较为困难,很难获取威胁情报以及复杂的内容分布情况,暗网的分析构成不明确。因此本文基于以上这些问题,对暗网进行数据收集以及内容分析。所设计的系统包括以下几个部分:(1)针对暗网数据问题,本文首先对隐藏服务内容进行爬取,其次对爬取到的内容进行分类,利用一些暗网爬虫策略,采用了Scrapy框架进行爬取,最后对暗网数据爬取进行了设计与实现。(2)针对识别暗网市场内卖方困难的问题,本文设计了暗网市场分析模型。首先进行数据源识别,采用了关键字、雪球以及Deep Weep隐藏服务方法;然后进行数据收集,通过收集的数据进行资产分析,从而能实现主动获取网络威胁情报。(3)针对域名地址收集困难的问题,本文设计了暗网域名聚合系统,使用了暗网目录聚合、Tor2Web域名关键字聚合以及社交网站聚合三种方式进行收集。首先暗网目录聚合收集是暗网域名收集的主要来源,其次提出了发现特定关键字算法,通过Tor2web进行,最后利用Scrapy爬虫框架从Reddit的社交网站的发布内容中获取域名地址。本章最后对暗网域名聚合性进行了测试,测试主要采用关键字搜索方法,搜索关键词使用了Torch、Duckduckgo、Ahmia三大搜索引擎。(4)针对KNN分类效果准确率不高,对KNN算法进行了改进。目前,在暗网数据分类采用的算法中,大部分只提取文本的单个特征值,而没有考虑文本之间关联关系,针对这个情况,提出了基于关联规则的KNN算法改进。首先对Apriori算法进行改进,然后对改进的Apriori算法进行关联规则,提取了频繁项集,确定了K近邻,最后结合KNN算法进行暗网数据分类。在本文的最后,本文所设计的系统扩大了暗网域名的收集数量,并且通过实验验证了基于关联规则的KNN算法,提高了暗网数据分类准确率,证明改进的关联规则Apriori算法,再结合KNN算法对暗网分类更有效。
其他文献
口腔器官作为全身系统的一个部分,与机体其他组织器官紧密相关。一些系统性疾病可能增加患者口腔疾病的易感性或严重性,增加口腔疾病的治疗风险。相反,口腔疾病的治疗会影响
时至今日,我们不得不说新一轮课程改革带给我们的理性思考要远远多于它对我们的激情冲击。和中小学教师一样,在每一次自上而下的教育教学改革面前,基层(特别是县级教研室)教研员也
一、新课引入师:为了早日完成“西气东输”工程,现有一支工程队前往新疆塔里木盆地开采天然气,地质局的工程师为他们提供了这样一条信息。
近年来,随着我国经济的高速发展,汽车的保有量也在快速增长,在方便人们出行的同时,也带来了极大的交通和环境压力。面对越来越复杂的驾驶环境,通过故障诊断、行驶状态的监测以及位置信息的获取,实时掌控车辆运行状态,不仅可以及时判断车辆是否故障,减少因此引发的交通意外,还能有效地改善车主的驾驶习惯,有助于车辆维护。为此,本文综合运用OBD诊断、汽车CAN总线、北斗定位及NB-Io T通信等技术,研究、设计了
本文研究了苦荞籽粒各部分提取液的抗氧化活性,抗氧化能力大小顺序为麸皮>外层粉>芦丁>壳>心粉.提取液中的总酚含量在2.34~43.45mg GAE/100mL,酚酸主要是原儿茶酸和对羟基苯甲
苏州市副市长朱永新近日在《中国教育报》上撰义指出:政府应为素质教育掌好舵。作者从山西省榆社县因为2005年高考成绩大面积滑坡,县委常委会通过电视公开向全县人民道歉,并宣布
通常,国际一些科学家把地球深部(压力为临界压力以上)300~500 ℃范围称为水溶液的近临界和临界区.……
教学活动是由教师的教和学生的学所构成的一种复杂现象。教学是学生在教师的指导下共同开展的学习活动。教学过程是师生交往、共同发展的互动过程。教师是学习活动的组织者、
We monitored the amplitude changes of coda transmission waves around 500 kHz across the frictional interface of a simulated 1. 5-meter-long fault during normal stress holding test.We find that the amp
随着互联网技术的深入发展,暗网和深网因其匿名性和数据内容的高价值性而受到了越来越多的关注。然而,暗网的非法滥用严重危害了个人信息安全和国家网络安全。因此,对暗网威