基于微服务的运维平台设计与异常检测研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:whzjs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统电信系统中的运维平台由于历史架构原因,与业务模块耦合较大,使得新模块的接入和兼容工作繁琐,开发效率低下,增加额外运维工作难度。同时运维平台需要关注服务的日志信息,通过过滤获取异常数据进行报警,传统运维平台中采用静态阈值过滤数据导致高负载机器出现大量无效报警影响运维效率。本文通过新的架构模式并运用不同的异常检测算法来解决上述两个问题。首先,本文按照软件工程开发流程,基于微服务架构中核心的服务治理的概念重新开发简易运维平台系统。使用Go语言自主实现了无侵入管理服务模块的网关组件开发,通过洋葱结构的中间件实现了微服务架构中服务发现,负载均衡,心跳探测,权限控制和流量控制等服务治理功能,成功实现了一个微服务体系下完整的系统搭建。该运维平台具有了对常见协议服务节点的管控能力,同时设计租户对象来对服务的流量以及权限进行更细粒度的统计,控制和管理。在此运维平台上接入一个新服务可以做到几乎无侵入的同时对服务的监测,权限,流量和负载等多方面管理,很大程度的提高了运维系统架构层面的扩展性和易用性。其次,本文根据真实电信系统服务器日志的分析结果,通过特征值定义,周期挖掘,动态阈值三个步骤实现了日志异常检测的优化。使用统计学特征值解决了日志规律衡量的标准,配合蚁群算法思想中信息素的思想,解决周期挖掘递归所遇到的复杂度过高和边界条件模糊的问题。通过得到服务器日志周期长度数据与统计学的分布规律最后确定每一个目标区间的动态阈值,该阈值过滤日志能留下更有效报警数据。运维平台落地使用该异常检测算法,能在服务器高负载情况下过滤无用报警,在低负载的情况下提供更敏感的报警监测,提高了运维效率。
其他文献
在城轨车辆运行试验过程中发现了车辆存在紧急通风逆变器不能启动的问题,针对该问题分析逆变器的启动工作原理,核查设备与车辆的接线点位及线缆的走线路径,最终确定问题的根本原因是由于设备干扰导致误触发停止信号使逆变器无法启动,经研究对电路进行改进,并经过实际运用验证表明改进措施行之有效。
现代社会,随着互联网技术的高速发展和信息化时代的到来,全球信息量暴增,人工处理信息的速度远不能满足人们的需求。自动文本摘要技术可以帮助人们快速从文本中精炼出重要信息,从而提高人们信息获取的效率。自动文本摘要技术主要分为抽取式和生成式两大类,两类方法有不同的使用场景。为了满足不同的应用需求,本文对抽取式的TextRank算法和生成式的PreSumm模型进行了研究,并对其中存在的问题提出了改进方法,提
伴随着信息技术以及各种互联网企业的迅猛发展,面对爆炸的数据以及种类繁多的新业务,传统老旧的运维方式已经不能满足一个大型企业的需求,高昂的人力成本也是人工运维必须要去面对的一个问题。在此场景下,一个高智能化的运维系统显得尤其重要。因此,针对上述问题,人们提出了一种基于机器学习的智能化运维(AIOps)技术来解决这些困难。容量分析是智能运维(AIOps)中极为重要的一个部分。本文研究的电信运维容量分析
源代码搜索是指根据自然语言查询语句获取对应的函数代码片段。其中主要涉及了自然语言处理技术,并通过将自然语言处理技术引入到源代码文本上,实现跨越自然语言与源代码两种模态形式进行搜索。现有的方法基于传统的序列表示模型分别处理自然语言语句与源代码文本输出形成向量表征形式,经过相似性比对实现搜索任务。但传统的序列表示模型例如词包模型、循环神经网络模型等对语义的特征能力抽取不足,而源代码信息含量对比自然语言
在问题规模不断增大的背景下,机器学习和深度学习的应用门槛越来越高,且需要极具经验的人工干预。然而,人工干预往往需要耗费大量的时间和计算成本。为了更好的解决上述限制,本文针对机器学习和深度学习流程中的超参数优化以及模型选择两个流程进行深入研究并实现高效的算法。对于超参数优化问题,本文以强化学习作为技术支持,实现了一种超参数优化方法。该方法通过序列选择各个超参数的方式,能够减少每一步超参数的搜索空间,
知识图谱已经在各行各业中得到了很好的应用,如法律、医疗、金融等领域。然而软件知识领域至今还没有相应的知识图谱得以建立,因此构建软件知识领域知识图谱显得十分重要。其次将软件知识图谱融入到软件领域个性化习题推荐中,可以增强推荐的科学性和可解释性。本文针对目前软件知识领域中的知识图谱构建及其相关技术问题展开了相关的研究,主要研究内容如下:对软件知识领域知识图谱的关键技术展开综述。由于目前关于领域知识图谱
近些年,人工智能已经由传统的感知智能逐渐向认知智能过渡,认知智能与自动推理成为研究的重点。如何将深度学习应用于逻辑推理,从而让机器具备思考和推理能力将是人工智能的重大突破口。本文的研究内容是基于图同构的初等数学推理引擎的设计和构建,推理引擎的系统设计理念基于产生式系统,并涉及到知识表示和实例化规则库的构建两部分。具体研究内容如下:(1)初等数学的知识表示知识表示是类人解答系统求解问题的第一步,只有
目前工业企业对于如何利用现有数据推动数字化转型,提升业务效率并没有十分明确的思路。针对这种现象,探索工业大数据的采集、分析与应用成为了大数据领域研究与发展的一个新方向,并且有必要建立一个专属的数据挖掘平台为工业数字化转型提供生态建立的支点。本文以工业大数据为基础、以工业应用场景为研究对象,挖掘工业应用场景中的通用化模块,并基于Hadoop分布式框架和Spring Cloud微服务框架实现一个能够对
新闻作为人们获取信息的一种重要手段,在推荐系统领域是一个研究热点。一个好的新闻推荐系统会吸引大量的用户,并且不同用户在不同地点的阅读需求是不同的,将地理位置这一因素加入到推荐系统中,可以使新闻推荐系统更有价值。基于此,本文设计了一种基于地理位置的个性化新闻推荐系统,本文的主要工作如下:(1)本文基于Flink分布式流式计算引擎,结合地理位置上下文信息,设计并实现了基于地理位置的个性化新闻推荐系统。