基于LSTM的软件系统异常检测方法的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zdt19880709
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机行业的快速发展,计算机软件已经被广泛的应用于社会的方方面面,软件的规模也变得越来越庞大,面对日益提高的软件可靠性要求,异常检测作为软件错误发现、异常原因分析和异常恢复的关键步骤已经变得越来越重要。软件系统异常检测即在软件上线后对不符合开发人员预期的行为进行检测的过程。日志作为开发人员理解与分析系统运行状态的重要资源,是软件异常检测不可或缺的基本内容,基于日志的软件系统异常检测已经成为目前软件开发过程中必不可少的关键阶段。与此同时,基于日志的异常检测还面临着许多困难:日志难以解析、异常检测的实时性要求较高、日志消息的内容利用率较低、日志的上下文相关性难以捕捉等。因此,基于日志数据的软件系统异常检测并非易事。针对以上的四个问题,本文提出了基于长短记忆网络(Long Short Term Memory Network,LSTM)的软件系统异常检测方法。具体的研究内容包括以下几个方面:(1)对于日志消息难以解析的问题,本文设计了一个通用的实时结构化解析方法,利用最长公共子序列(Longest Common Subsequence,LCS)的思想,将文本格式的日志消息实时解析为结构化的、计算机可处理的数据内容,同时基于前缀树优化了日志的LCS计算过程,将日志消息解析的时间复杂度由O(7)m*n~2(8)降低为O(7)n(8)。(2)针对日志的上下文高度相关性和异常非模式化的特点,本文使用LSTM模型提取正常日志序列的行为模式,并通过日志消息的上下文w预测新的日志消息,即利用LSTM模型学习时刻t的日志消息取值概率分布P r[lm _t|w],最后利用预测内容与真实内容之间的差异进行异常检测,将与预测内容差异较大的日志消息判定为异常。(3)为了充分利用日志消息的内容,在构造异常检测模型的过程中,本文分别构造了执行路径异常检测模型和参数轨迹异常检测模型,分别对应日志结构化数据中的文本常量序列和参数序列,执行路径模型用于检测软件的工作流异常,参数轨迹模型则用于检测软件的性能异常。最后,本文通过对比试验的方式对基于LSTM的软件系统异常检测方法进行测试,分别利用CloudStack和Hadoop两个数据集进行实验,对比了基于主成分分析法(principal component analysis,PCA)、N-Gram和CLSTR的异常检测模型。在CloudStack数据集和Hadoop数据集分别取得了0.8221和0.8128的F-measure取值,证明了本文方法相较于传统的异常检测方法有较大的性能提升,验证了本文方法的正确性和有效性。
其他文献
宋版书有着极高的艺术价值和收藏价值,它的出现奠定了中国古代书籍版式的基本模式,对当今的书籍设计既是传承也是启示。宋人尊崇文化,对书籍的制作要求很高,宋版书工艺精湛,
寺观造像艺术是包括寺庙古建、雕塑、壁画及石窟寺造像、塔等为一体的艺术类别,现今研究中国古代寺观造像艺术的文章大多是从历史、文化史或是风格史的角度去分析,而非从造型
运动式治理作为一种特殊的治理模式和常规科层治理一起贯穿整个中国历史之中,是国家治理体系的重要组成部分。当常规治理失败时,打破传统科层机制的运动式治理就会被启动。运
社交媒体网络作为一种新型的互联网信息交流平台,在近几年内得到了迅猛地发展,越来越多的网民开始使用社交媒体分享信息,关注新闻时事,在以社交媒体为平台的基础上,构建了庞大、复杂的社交关系网络。通过对这些社交关系进行分析和总结,可以为社交媒体数据挖掘的研究提供高效结构化的数据源,并发掘出巨大的商业价值,因此研究社交媒体中用户之间的关系抽取具有重大意义。但由于社交媒体数据的复杂性和多样性,社交媒体语料与传
随着身份信息验证重要性的提升,人脸识别技术的发展也日渐成熟。由于二维人脸识别技术的发展局限性,近年来,三维人脸识别技术受到了研究者们的青睐。但是三维人脸识别算法性能受数据库质量、人脸姿态、表情影响较大,算法的发展面临较大挑战。本文对三维人脸识别做出了如下几方面改进:1、在三维人脸模型数据库预处理中,本文采用了由中科院自动化所拍摄的CASIA 3D数据库,由于该数据库原始数据格式无法直接用于算法,因
社会正义是政治哲学永恒的命题,而正义原则是正义理论的核心问题。西方现代正义理论中自由主义处于绝对支配地位,这种正义理论建立在抽象的理性人的观念基础上,崇尚制度理性,而德性缺失。中国社会近代以来,尤其是在现代化进程中,积极吸收和借鉴西方现代性理论,包括在社会正义问题上也大凡如此,崇尚制度正义优先。在学理层面,正义问题本应囊括制度和道德意识觉悟两个层面的,因而唯制度理性马首是瞻的思维不仅在学理上,而且
近年来,为了促进教师的专业学习,提升教师的专业素质和水平,我国的教师教育改革不断深化。作为教师教育的重要组成部分,职前教师教育也亟待提升。传统的职前教师教育项目注重
宋季科举社会下,状元姚勉拥有贫士、举子、官员、里居士人与科举士大夫五个不同层面的身份类型,它们各自展现了宋季科举社会与文学创作的不同内容。贫士是姚勉的基础身份,科
近年来,随着经济全球化的程度越来越高,我国光伏行业迎来了巨大的机遇,但也面临着许多风险和挑战。在陆续遭遇2008年的全球金融危机和2012年欧美国家的“双反”调查后,我国光伏行业产生很大的动荡,光伏企业面临着越来越多的风险,许多企业因为忽视财务风险的重要性而导致破产。因此我国光伏企业迫切需要建立并完善财务风险预警体系来预防和应对财务风险。本文以H公司为研究对象,首先在阅读并整理国内外有关财务风险预
21世纪,资源短缺、环境污染、生态失衡等已经成为全球面临的共同性问题。目前,中国存在着消费方式、消费结构、消费伦理等不合理问题,造成资源浪费、生态环境被破坏,进而打破