基于变分自编码器和孪生神经网络的系统异常检测及诊断方法

来源 :武汉大学 | 被引量 : 0次 | 上传用户:dfteu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
日志对维护系统的可靠性和可用性具有十分重要的意义,异常日志消息的出现往往标志着系统异常的发生。然而,随着系统规模的不断扩大、系统复杂程度的不断增加和系统功能及业务的不断扩展,现代系统产生的日志规模也随之快速增长,仅依靠人工分析海量的日志消息进行系统异常检测及诊断已无法满足大型系统的运维需要。同时,仅将日志消息简单区分为正常和异常,并对异常日志消息直接告警,极易导致告警风暴的出现,即一些非严重系统异常重复、频繁告警,而在短时间内会造成系统宕机或性能快速下降的严重系统异常无法及时得到运维人员的重点关注。本文旨在提出一种自动、高效、准确的系统异常检测及诊断方法,其主要贡献如下:(1)在系统日志预处理阶段,本文所提方法首先采用在线日志解析方法将原始日志消息解析为其对应的日志事件。然后,根据原始日志消息的特点,采用不同策略划分日志序列。最后,从日志执行次数和日志执行顺序两个方面对日志序列进行特征提取,在充分保留日志序列信息的同时,生成固定维度的特征向量,便于后续进行系统异常检测及诊断。(2)在系统异常检测阶段,本文所提方法使用变分自编码器构建系统异常检测模型。在训练阶段,异常检测模型仅需使用正常日志序列生成的特征向量进行训练,并通过变分自编码器学习正常日志序列中蕴含的模式。在检测阶段,根据待检测序列生成的特征向量在经训练好的变分自编码器处理后是否符合学习到的正常模式,区分其是否为异常。区别于其它基于变分自编码器的异常检测方法,本文通过统计正常日志序列应符合的距离区间,而非设置单一距离阈值区分正常、异常,降低了系统异常检测模型的训练难度,并提高了系统异常检测的准确率。(3)在系统异常诊断阶段,由于缺乏种类齐全、标记准确的异常日志构建训练集,本文所提方法采用小样本学习中的孪生神经网络构建异常诊断模型,将对异常日志序列的多分类问题转化为相似度判别问题。在训练阶段,异常诊断模型仅需使用易收集的异常类型日志序列进行训练。通过基于余弦相似度构建损失函数,孪生神经网络可以更好地学习并判断两条输入向量是否属于同类型异常。在诊断阶段,异常诊断模型使用训练好的孪生神经网络判断待诊断序列生成的特征向量,与哪些历史异常数据库中已知类型的异常日志序列生成的特征向量相似,从而诊断出待诊断序列所属的具体异常类型。
其他文献
促进城市少数民族流动人口制度融入,既是提高少数民族流动人口权益保障、积分落户、社会融入的重要基础和制度保障,也是推动城市民族工作和提升新型城镇化质量的重要任务。基于2017年东部地区流动人口调查数据,运用logistic回归模型等方法对少数民族流动人口制度融入进行实证研究,发现少数民族流动人口制度融入有待进一步提高。就影响机制而言,心理资本能直接显著提升少数民族流动人口制度融入;而经济资本既能直接
目的 探讨揿针刺激胃、大肠、小肠下合穴对腹腔镜胆囊切除术后患者胃肠功能恢复的影响。方法 将2021年1月―6月在我院普外科行腹腔镜胆囊切除术的80例患者,按随机数字表法分为治疗组、对照组,每组40例。术后对照组予常规治疗,治疗组在对照组的基础上加用揿针刺激患者胃、大肠、小肠下合穴,观察患者术后肠鸣音恢复时间、首次排气时间、首次排便时间,及患者术后腹痛、腹胀、恶心呕吐的中医证候积分情况。结果 治疗组
学位
共价有机框架材料(COFs)是一类由有机构筑基元通过共价键连接而成的晶态多孔材料,可分为二维COFs和三维COFs。二维COFs层与层之间的π-π相互作用,使其具有良好的电荷转移能力。通过预先结构设计,可以拓宽COFs的吸收光谱,抑制光生电子和空穴的复合,二维COFs也因此成为研究者广泛关注的异相催化剂材料。基于卟啉良好的光电性能和氧化还原性能,本文设计构筑卟啉基二维共价框架,并探究协同催化对其催
低轨卫星(LEO)凭借其诸多优势在大地测量等领域扮演着越来越重要的角色,并且未来大型低轨星座的升空也奠定了其广阔的应用前景。以此为牵引,本文围绕低轨卫星增强应用展开研究,利用8颗低轨卫星(Swarm-A/B/C,GRACEC/D,Sentinel-3A/3B,Jason-3)的星载GNSS数据,分别对低轨卫星增强GNSS卫星精密轨道确定、低轨卫星增强GNSS卫星天线相位中心变化(PCV)标定以及低
目的:三七总皂苷(Panax Notoginseng Saponins,PNS)是中草药三七的主要化学成分,具有抑制血小板聚集、降低血管阻力、改善微循环、抑制炎症因子和抗氧化应激的作用,在治疗神经系统疾病和心脑血管疾病中具有广泛的药理活性,最近由于其潜在的抗癌活性和低毒性受到了极大的关注,成为抗肿瘤替代药的研究热点。有研究已经证明PNS对乳腺癌、结直肠癌、非小细胞肺癌和宫颈癌等多种癌症具有显著的抗
忆阻器是一种特征尺寸小、集成度高、读写功耗低和状态非易失的新型双端无源器件,其独特的电学特性使得它非常适合实现人工神经网络中的突触;而且忆阻器可以大规模集成,其存算一体的独特优势有望打破冯诺依曼瓶颈,为人工神经网络提供新一代的硬件计算平台。针对这一背景,聚焦于基于忆阻器阵列的神经网络设计和研究,实现了忆阻器MLP网络和忆阻器BNN两种网络,均采用异位训练的方式搭建。主要工作和创新点归纳如下:针对忆
镉是我国农业土壤污染的首位污染物,土壤镉污染已经成为了主要的环境污染问题。土壤中的镉易被农作物吸收进入食物链,引起各种急性疾病、慢性疾病,对人类健康造成深远而持久的影响。然而,目前研究多关注于大米镉的研究,对蔬菜中镉的研究较少,但通过蔬菜摄入镉也是镉暴露不可忽视的途径。其中,绿叶蔬菜较其他种类蔬菜更容易积累镉,所以更值得关注。更重要的是,以往的研究更多地在“土壤—植物”系统中关注土壤镉到农作物中的
学位
随着GNSS技术的快速发展,其应用场景越来越广阔,在需要位置服务的各行各业中,卫星导航技术俨然已成为必不可缺的一种手段,由于RTK技术具有用户端算法简单,数据处理效率高,收敛快,定位精度高和可靠性强等优点,其在各类高精度位置服务中是最为常用的定位手段之一,而随着应用范围的推广,尤其是RTK技术在自动驾驶等与生命安全息息相关领域中的普及与应用,对RTK定位技术的定位精度和可靠性也有了更高的要求,而在