基于MLM与Bi-GRU的系统软件日志异常检测方法

来源 :武汉大学 | 被引量 : 0次 | 上传用户:qw1567892
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代软件规模不断发展,复杂程度不断增大,如何保证软件系统可靠性和服务质量成为了软件运维过程中至关重要的一部分。日志记录着软件系统运行时各种状态和执行事件,通过分析日志数据可以帮助运维人员检测异常、定位问题。基于日志分析的异常检测致力于发现系统存在的异常行为,是保证系统服务质量,可靠性的重要方法。在异常检测过程中,日志解析将非结构化日志数据处理为结构化数据,为后续异常检测提供数据支持。日志解析的精度直接影响异常检测的性能表现。但随着日志类型变多,数量、增长速度变大,基于日志分析的异常检测存在如下挑战:(1)日志解析精度不高,稳定性不够,提供的结构化日志数据不完整,影响后续异常检测性能;(2)随着软件版本迭代,日志内容会发生改变,新的日志类型会出现,一些异常检测模型无法适用新数据的出现,出现异常检测性能下降的问题。针对以上存在的问题与挑战,本文旨在提出一种自动、高效的软件系统异常检测模型,其主要贡献如下:(1)针对日志解析精度不高,稳定性不够的情况,本文采用掩码语言模型(Mask Langeage Model,MLM)和基于注意力机制的BERT模型构建日志解析方法,准确地将日志消息中的固定部分和可变部分进行分离,并提取日志事件模板。在实验中验证了日志解析方法具有良好的通用性。(2)针对日志语句存在内容变化,新日志类型出现的情况,本文首先使用基于BERT语义表征模型对日志事件进行编码提取其语义特征。然后采用双向门控神经网络(Bi-directional Gate Recurrent Unit,Bi-GRU)和注意力机制构建异常检测模型,增强异常检测方法的鲁棒性,缓解日志内容变化,新日志出现对异常检测性能的负面影响。(3)为了验证提出的日志解析方法和异常检测的有效性,在公开日志数据集上进行了充分实验,证明其有效性和合理性。
其他文献
科技的进步和5G网络的快速普及,使得准确快速的身份认证成为人们日常生活的重要需求。传统的身份认证方式存在易丢失、易遗忘等缺陷,给人们的生活带来许多不便。基于生物特征(如指纹)的身份识别方式主要依赖于个体的生理特征,既方便快捷又不会被遗忘或者被丢失,且具有高度的可行性和实用性,已广泛应用于人们的日常生活。但有研究指出,个体的生物特征数据与个体的隐私信息密切相关,且具有唯一性和不可更改性,一旦泄露或者
学位
作为一种新兴识别技术,射频识别(Radio Frequency Identification,RFID)广泛应用于各个领域,通过验证某个区域内是否存在附着RFID标签的对象,实现物品盘点。RFID盘点方法是RFID识别方法的一种,其关注对识别区域内的库存标签是否存在进行状态确认,从而实现对物品的管理。随着RFID设备的应用场景的拓展,由于阅读器天线功率的限制,单阅读器RFID系统逐渐不能满足应用所
学位
教学过程究其本质而言是一种认知过程,需得遵循认知规律,但学生在教学过程中掌握知识的认知活动又不完全等同于一般的认知活动,它有其自身的特点。其中,教学过程的"引导性"很好的诠释了作为管理者的教师在此过程中的作用。教育管理者在充分了解管理对象的学段特征的基础上,采取中医辩证施治的"升、降、和"三法并施策略,能更好发挥其在高三年级学生复习备考过程中的指导、辅助作用。
会议
<正>【设计理念】随着高考临近,一些学生出现身体疲惫、情绪烦躁、注意力难以集中、学习动力不足等情况,感觉时间投入与学习效率不成正比,因此,科学备考,提高学习效率对时间紧迫的高三学生来说具有重要的现实意义。本节课以“电量”引入“精力管理”概念,通过精力委托书活动引导学生理解“体能、情感、思维、意志”对高三高效备考的重要性,
期刊
报纸
<正>近日,中国老龄科学研究中心和新疆生产建设兵团养老行业协会联合发布了养老服务人才状况专项调查报告。本次调查涉及养老服务人才的基本特征、待遇和保障状况、培训状况、职业发展状况等内容。养老服务人才基本特征调查显示,养老服务人才以女性为主,各类受访者中女性占比约82.3%。养老服务人才队伍年龄结构偏大,41—55岁年龄段的受访者占比56.0%,56岁及以上占比14.9%。身体健康状况整体较好,
期刊
随着新课改教学政策不断深入和进一步发展,对学生进行学业情绪管理也受到越来越多人的关注,学生在高中接受思想教育的主要途径就是班主任的日常教学,因此高中班主任在日常教学工作开展过程中,将思政教育融入工作对学生的思政教育的开展具有重要的作用。基于此,本文针对班主任为主导的高三学生学业情绪管理对策分析进行简要阐述,以下仅供参考。
会议
<正>养老服务人才培养关系到养老服务业发展质量和亿万老年人的晚年幸福生活,是重大民生工程。建议将养老服务人才队伍建设纳入“七有”(即幼有所育、学有所教、劳有所得、病有所医、老有所养、住有所居、弱有所扶)、“五性”(即便利性、宜居性、安全性、公正性、多样性)监测评价指标,制定职业技能提升行动方案,出台养老服务人才培养办法,建立养老护理员职业技能等级认定和教育培训制度。
期刊
耗散型的二阶微分方程是描述天体力学、流体力学、相对论力学、工程等实际问题的一类重要的微分方程.本文主要研究耗散的二阶Liénard型微分方程在次线性条件下的周期动力学行为.我们用Poincaré-Birkhoff扭转定理,证明了次线性二次Liénard型的微分方程存在调和解以及无穷多个次调和解.论文的主要结构如下:第一章,我们主要介绍了耗散型的二阶微分方程的研究现状与发展,并简要论述了本文的主要研
学位
在科学和工程领域,存在很多来源于复杂系统的输入输出或由算法构造的黑盒函数,这类函数的特点是易于求值,但无法直接给出数学表达式.插值策略在构造这样的黑盒函数时非常有效,尤其是针对计算机代数方面的问题,如GCD计算、结式计算等.此外,稀疏插值在信号处理、指数分析、有理近似理论等科学工程领域也有广泛应用.目前,针对稀疏多元多项式插值,主要存在以下几个问题:首先,有限域上高效的稀疏多元多项式插值算法是非确
学位