面向网络流量异常检测的矩阵分解加速方法

来源 :湖南大学 | 被引量 : 0次 | 上传用户:rsbgrc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量异常检测是互联网管理中的一项重要任务。基于主成分分析(PCA)的传统方法仅仅对由小的独立同分布的高斯噪声引起的破坏是有效的。最近,直接鲁棒矩阵分解(DRMF)被证明在异常检测中表现出良好的鲁棒性和精度。然而,DRMF在进行网络流量矩阵的低秩部分逼近过程中需要重复利用奇异值分解(SVD),直到找到最优解,这使得DRMF的计算时间复杂度非常高。本文围绕DRMF在网络流量异常检测中存在的计算时间复杂度问题进行深入研究,本文主要的工作和创新点如下:1.针对DRMF在网络流量异常检测中存在的计算复杂度问题,本文提出基于子空间寻找的异常检测算法Subspace-NoReuse。我们把DRMF中的低秩矩阵逼近问题等价阐述为寻找子空间问题,该子空间使得网络流量矩阵在它上面的投影具有最小投影误差。该算法可以自适应寻找子空间,实现网络流量矩阵低秩部分快速逼近,间接实现网络流量异常快速检测,它包含两项新颖的关键技术:(1)多层局部敏感哈希表,该表用于重排OD对行向量(网络中源结点与目的结点之间的流量数据构成的行向量),促进自适应矩阵划分,快速寻找子空间;(2)自适应矩阵划分原则,该原则用于矩阵划分,每次都选择在当前子空间上投影误差最大的子矩阵进行划分,使得矩阵的整体投影误差最小化。2.本文在异常检测算法Subspace-NoReuse的基础上,提出快速的网络流量异常检测算法LSH-subspace,该算法由Subspace-NoReuse和轻量级局部敏感哈希表更新算法组成。其中,轻量级局部敏感哈希表更新算法是LSH-subspace的关键算法,该算法在连续的两个迭代步骤中,重用前一步骤建立的多层局部敏感哈希表,在当前迭代步骤仅仅更新一部分行,然后,再运用Subspace-NoReuse,使得自适应寻找子空间的时间复杂度大大降低,从而,实现网络流量矩阵低秩部分逼近进一步加速,间接实现网络流量异常检测进一步加速,体现了LSH-subspace在网络流量异常检测速度方面的优越性。3.在公开流量跟踪数据上进行仿真实验,将本文提出的两种网络流量异常检测算法Subspace-NoReuse和LSH-subspace,与当前先进的网络流量异常检测算法进行了对比,实验结果表明了本文所提算法的有效性,实现了网络流量异常快速检测的效果,Subspace-NoReuse和LSH-subspace的异常检测速度最高达到DRMF的2.5倍和3倍,同时,这两种算法都具有很高的异常检测精度。
其他文献
大肠癌(CRC)是我国常见的恶性肿瘤之一,在消化道肿瘤中的发病率和死亡率均位居第二位。随着我国国民总体生活水平的提高,膳食结构的变化,近年CRC的发病率呈逐年上升趋势,虽CRC诊
习近平总书记在参加十三届全国人大一次会议山东代表团的审议时指出,实施乡村振兴战略是党的十九大作出的重大决策部署,是决胜全面建成小康社会、全面建设社会主义现代化国家的
报纸
针对我国喷雾设备与农药应用技术落后的国情,使用CFD(计算流体动力学)技术,在原始阶段建模分析,为喷雾机的研制以及风场的研究提供相关原始数据以及技术参数,即可缩短研发周期,减少生产成本,亦可实现精准喷雾、减少药液浪费与对环境的污染提供。本论文主要研究内容与结论如下:(1)喷雾机硬件设计与机械系统优化。结合我国传统苹果果园的种植模式、喷雾机发展现状及流场模拟结果,对现有喷雾机风箱结构进行优化,减少喷
许多重要生物学进程是受细胞信号通路精确调控的,其中信号分子的亚细胞定位和蛋白质翻译后修饰对于细胞信号的转导是极其重要的。蛋白质的翻译后修饰是指共价酶修饰,包括磷酸
在环境、气候问题日益突出的今天,全球变化研究对于揭示地球系统的运行机制、气候变化的规律和人类对地球表层系统的影响具有特殊意义。其中过去全球变化研究是通过对过去地
家族在中国传统社会中占有重要位置,但是随着时代的发展,传统的家族社会遭遇了巨大的冲击。不过,近年来,有一个现象十分值得关注,那就是在微信等自媒体上,以家族为基础的社会关系似又复兴。有一些人在自媒体上建立了以家庭乃至整个家族为基础的微信朋友圈,在网络上所建立的家族在亲友朋友之间所起的作用与意义是什么?它与中国传统社会的家族有何异同?这都是值得思考的问题。本文即以一两个家庭为单位为研究个案,探讨在自媒
电子信息产业作为一个全球化、先导性、迭代快的高新技术产业已经成为我国重要产业支柱之一,近年来国家不断出台政策加快推动产业发展,特别是我国在以云计算、物联网、大数据、人工智能和5G通讯等为代表方向的新一代信息网络技术发展势头强劲。虽然我国已是全球最大的电子信息产品制造基地,但核心竞争力不强、关键技术和材料受制于人、产业链附加值和利润低、企业自主创新能力薄弱等问题仍然比较突出。怎样抓住机遇,化解瓶颈,
回顾我科1995年至2004年收治的食管平滑肌瘤患者89例,并就其诊断和治疗特点进行分析。 平滑肌瘤单发85例,多发4例(最多者为9个)。瘤体分别呈类圆形、马蹄形、哑铃状及螺旋
水泥环对于保护套管,封隔地层具有重要作用。在油气井作业过程中,水泥环完整性会受到破坏,失去密封性,而这直接关系到油气井安全生产和使用寿命。对井下高温高压条件下的水泥
我国自然保护区面积占国土面积的15%左右,高于国际平均水平。我国自然保护区作为生态文明建设的重要载体,在维护国家生态安全、保护自然资源和自然环境方面具有重要的作用。