基于模式挖掘的发布/订阅分布式系统异常检测技术研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:heqigao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于数据分发服务(Data Distribution Service,DDS)的发布/订阅分布式系统是一种构件之间通过DDS进行通信且具有松耦合特性的分布式系统,在国防、军工等领域应用广泛。随着发布/订阅分布式系统的规模日益庞大、构件间关联日趋复杂,系统所面对的安全威胁也与日俱增,如针对系统的拒绝服务攻击会大量消耗系统资源,导致系统难以稳定地提供服务。因此,迫切需要开展有效的状态监控和运维管理工作来保障系统的安全稳定运行。目前针对系统面临的安全威胁已有相应的应对措施,但是缺乏对系统整体的安全监控。此外,针对系统运行过程中存在多种运行状态的特点,缺乏以运行模式为单位的异常检测方案,无法准确把握系统的运行状态。针对上述问题,论文设计了面向发布/订阅分布式系统的异常检测方案,方案分为两个阶段:在离线分析阶段,利用数据挖掘技术从系统历史运行数据中挖掘出系统的运行模式,并提出运行模式的表示方法,构建运行模式知识库;在在线检测阶段,使用带属性的AC自动机算法和实时流处理框架,对系统实时运行状态数据进行运行模式匹配,实时监控系统运行状态,检测系统运行异常。论文的主要工作如下:(1)提出了基于加权频繁项集挖掘算法的运行模式挖掘方法。通过研究发布/订阅分布式系统的运行特点和通信机制,对Apriori算法从数据存储和支持度计算两个方面进行改进。结合事务矩阵,从频次和影响程度两个方面体现发布订阅事件的重要性,以适用发布/订阅分布式系统的运行模式挖掘,提高挖掘效率。(2)提出了发布/订阅分布式系统运行模式的表示方法。针对系统中存在多种运行状态的特点,结合构件关联、基于正则表达式的事件序列和事件属性约束定义和表示运行模式。构建运行模式知识库,将运行模式作为在线异常检测时模式匹配的依据。(3)提出了基于带属性的AC自动机算法的异常检测方法。为检测系统的运行行为异常,利用离线挖掘得到运行模式构造自动机进行模式匹配。为提高异常检测效率,在AC自动机的状态节点上存储了事件属性约束的索引,在事件序列匹配的同时检测事件属性的正确性。针对数据流处理中采用的滑动窗口模型的特点,对检测结果增加异常误报修正机制以进一步提高异常检测的准确率。(4)集成上述理论研究成果,设计并实现了发布/订阅分布式系统的异常检测原型系统。异常检测原型系统是集离线分析和在线检测为一体的监控管理平台,提供了运行模式挖掘和表示的操作接口,利用实时流处理框架实时监控系统运行状态以检测运行异常。对原型系统的测试结果表明:论文提出的发布/订阅分布式系统异常检测方案是正确有效的。
其他文献
随着物联网技术的快速发展,常见的身份认证技术如基于设备MAC地址、安全证书、身份认证指令等方式,都存在易伪冒、易被窃取的弊端。将无线设备的物理层信号特征作为设备射频指纹可以实现设备的分类与识别,这对物联网的物理层安全研究具有重要意义。本文选择LoRa设备作为研究对象,分析了LoRa信号的调制技术及其物理层帧格式,提出了3种指纹特征提取方法,并通过对8个设备进行实验,验证了所提特征的有效性和稳定性。
随着互联网的快速发展,社交媒体大大提高了信息的传播速度和传播范围。然而,社交媒体缺乏监管不受限制的特性也助长了谣言的迅速传播,网络谣言的广泛传播对公众获取真实有效的信息造成了严重的干扰,轻者影响人们对于事实的判断和认知,对个人生活造成负面影响,重者可能会造成严重的社会恐慌,影响社会的和谐稳定发展。因此准确的网络谣言检测,对于阻止谣言的广泛传播,防治网络谣言带来的危害,具有十分重要的研究价值和社会意
随着中国工信部向三大运营商发放5G(The 5th Generation,5G)商用牌照,中国正式进入5G商用元年。社会进入万物互联的时代,无线终端和数据量都呈现指数式增长,对无线通信资源的需求越来越大。大规模分布式多输入多输出(Multiple-Input and Multiple-output,MIMO)技术得到了广泛的研究,它具有显著改善系统资源配置的灵活性和大幅度提升无线资源利用率的优点。
随着移动互联网的发展,越来越多的移动应用程序(APP)在互联网上被开发和发布,各大APP应用商店也应运而生。但是现阶段网络上有诸多的含有风险的APP,它们或传播了不良信息,或侵犯用户隐私。对于网络安全分析人员来说,全面的APP信息有助于甄别APP的风险程度。每当业务人员发现一个风险APP,发现此APP的相似APP也至关重要,因为与风险APP相似的APP有极大可能存在风险。如何从大规模的APP中计算
数据挖掘能够发现数据中的潜在规则模式,为辅助决策提供支撑。聚类是数据挖掘的重要基础功能,聚类过程对业务数据的访问不可避免地带来隐私泄露问题。随着人们对个人隐私的日益重视,如何在保护数据隐私的同时实现聚类成为亟待解决的问题。差分隐私是实现隐私保护的一种有效技术,近年来得到了研究者的持续关注。针对现有基于差分隐私的聚类方法在隐私安全和聚类质量方面存在的不足,提出基于差分隐私的距离矩阵扰动方法,以及基于
随着深度学习理论的迅速发展,以及计算机硬件水平的升级,基于深度学习的通用目标检测方法研究取得重大进展,涌现出众多代表算法:YOLO、Faster RCNN和Center Net等,应用领域广泛。然而当通用的目标检测算法运用到小目标检测领域时,存在网络结构冗余、小目标检测精度较低、密集小目标漏检等现象。综合考虑实际目标检测场景中准确性和实时性的要求,本文对经典的单阶段目标检测算法YOLOv4进行研究
微表情是人类无意识产生的面部微动作,其反应了人类的真实情感状态。这使得微表情在医疗诊断、商业谈判、刑事审讯等方面具有广泛的应用。微表情具有持续时间短、强度微弱、局部发生等特点,这些特点使得人类准确识别微表情十分困难。因此,自动微表情识别成为了计算机视觉、模式识别和情感计算研究领域中一个备受关注的课题。本文针对微表情识别中的关键任务:跨领域面部微表情识别,结合微表情的自身特点和域自适应方法,围绕微表
随着互联网技术的快速发展,网络媒体成为人们发布和获取新闻信息的重要平台,同时也成为广大网民扩散和讨论新闻事件的集散地。在此背景下,舆情演化分析的研究热度逐年攀升。舆情演化分析是包括话题抽取与情感极性分析在内的多种技术的综合,其中话题抽取可以展现相关事件的话题发展脉络,情感极性分析可以展现网民对相关话题的情感极性和强烈程度。将功能相互补充的话题抽取与情感分析相结合则可以用更加全面的视角展现舆情演化信
聚焦即将到来的5G时代和日渐复杂的网络系统架构,虽然现有主动式安全防御技术的理论研究成果丰富,但在实际应用中仍受到传统网络架构的限制,缺乏网络设备的信息联动和实际应用环境的支撑。SDN新型网络架构是对传统网络架构的突破,但在实际应用中仍存在缺乏数据包来源和身份验证机制、缺乏数据完整性保护机制以及有限的控制粒度难以满足精确的控制需求等问题。因此,如何从根源上突破“外壳式”防御瓶颈,从根本上解决网络系
射频识别(Radio Frequency Identification,RFID)技术是物联网感知层的关键技术,是一种通过无线射频信号采集物体信息的自动识别技术。相较传统识别技术,RFID技术具有准确率高、识别速度快、非接触和抗干扰等优点,因此被广泛应用于物流运输、交通控制、资产管理、电子商务以及安全门禁等领域。然而,RFID系统中的阅读器和电子标签通过开放的无线信道传输数据,极易受到窃听、跟踪、