面向定制化链路的微服务监控系统的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:rqcai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的单体应用架构因具有部署容易、测试方便的特点被广泛运用,然而随着业务需求的增长和互联网技术的发展,单体应用逐渐出现部署效率低下、扩展性差、技术迭代困难等问题。微服务技术以其松耦合、高扩展性的特性解决了单体应用架构的困境,微服务架构根据项目的业务逻辑将其拆分为多个服务,每个服务被独立部署,都拥有独立职能,各自完成独立的功能逻辑,无需关注其他服务的开发,提升了开发效率。在微服务架构背景下,用户发出一个请求需要由多个服务协同配合完成,如果请求在处理过程中出现异常,因服务间依赖关系复杂,导致难以确定故障位置;同时,每个微服务在核心业务中的参与度是不一样的,每个服务节点承受的压力也不同,对微服务节点的资源管理不像单体应用一样只需作简单的容量预估后进行等比例扩容,微服务架构项目也面临着资源管理和服务调度难的问题。针对微服务架构项目故障定位难、服务节点容量预估难的问题,本论文设计并实现了一个符合Open Tracing标准的面向定制化链路的微服务监控系统,实现对微服务架构项目的调用链追踪和服务依赖关系梳理,分析异常请求帮助故障定位,预测服务节点负载,降低运维工作难度。具体研究内容如下:(1)针对微服务项目资源管理和服务调度难的问题,提出了一个基于注意力机制的负载预测算法,采用一种改进的稀疏自编码器进行负载数据的特征提取,再为LSTM编解码器添加注意力机制完成负载预测,根据历史负载数据预测未来时刻的容器负载值,帮助运维人员对微服务项目进行更好的资源管理和制定服务调度策略。(2)针对海量日志定位异常日志难的问题,提出一个基于随机森林的日志异常检测算法,设计了一种日志解析方法用于模板提取,再对日志模板进行特征提取得到特征向量后放入随机森林模型中生成异常检测模型,帮助运维人员根据异常日志对业务系统进行故障定位。(3)为了实现对业务代码无侵入性埋点采集监控数据,实现一种基于字节码增强技术的探针,该探针能够在不修改业务代码的情况下,在类加载到JVM之前对其拦截并修改字节码,获取类的相关信息和后续调用信息,从而实现无侵入性地采集请求过程中产生的相关数据作为监控数据上报给监控系统。(4)从系统需求出发,完成整个系统的设计与实现。通过基于字节码增强技术的探针采集调用链数据和指标信息并上报,将提出的负载预测算法和日志异常检测算法运用于系统中,将系统分为仪表板展示、调用链追踪、性能分析、拓扑图分析、告警、日志管理、流程定制七个功能模块,从而实现提升系统运维的效能,减少系统运维成本的目的。经过测试,本论文提出的面向定制化链路的微服务监控系统各功能逻辑正常,响应时间均在理想范围内,能够满足使用微服务架构系统的监控需求,提高故障定位效率,降低系统运维成本,具有实用性和可靠性。
其他文献
高光谱图像作为遥感图像的一种,具有分辨率高,谱像合一等优势,被广泛应用于军事探查,农业研究,环境监测等领域。高光谱图像在每个像元上通常具有上百个波段,蕴含丰富的光谱信息,但是由于高光谱数据标注困难,每幅高光谱图像中只有少部分像元被标注,这导致验证算法的分类效果时只能在少量标注的数据中选择一部分用作训练,一部分用作验证,如今研究的趋势是使用少量的样本进行训练来得到好的分类效果。这时大量的波段信息会使
学位
图像超分辨能够将低分辨率图像重建为信息丰富的高分辨率图像,因此在卫星检测、生物医学、人脸识别和硬件安全等方面有着广泛的应用。然而,图像超分辨是一个病态问题,一张低分辨率图像往往对应于多张高分辨率图像,如何学习准确的映射关系并生成包含丰富信息的高分辨图像是超分辨任务的核心。本文以面向工程应用为目标,旨在控制模型参数量的同时提升超分辨性能。近年来,基于残差学习的超分辨模型在实验性能上有了很大的突破,残
学位
近年来,各行各业都在紧跟互联网行业的步伐,实现管理和销售渠道的电子化,由此就产生出了大量的软件和代码。市面上现有的代码管理平台或工具通常功能单一,没有一个平台对代码的整个生命周期进行统一的管理,因此实现这样一个综合性的代码管理平台是很有必要的。另外,根据代码产品可移植性高、可复用性高、开发效率高的特点,如果可以根据用户需求和代码产品特性推荐一个或多个组合的代码产品,那么就可以为开发人员提供已经编写
学位
高光谱图像同时提供物体的空间信息及丰富的光谱信息,利用光谱信息可以对物质进行材质识别,因此它在目标识别领域具有巨大的优势,这也使得它在地质勘测、物质分类等领域得到广泛研究。随着高光谱图像分辨率的不断提升,高光谱图像数据量越来越大,不仅对成像系统的存储造成了压力,而且给数据传输、处理都带来极大挑战。压缩感知作为一种新颖的采样理论,可在采样时对信号进行压缩,能够减少数据量,然而使用该采样理论对高光谱图
学位
第一部分基于常规实验室指标的血肿扩大生物预测标志物探索目的:脑出血是一种严重的脑血管病,致残率和致死率高。血肿扩大约在1/3的脑出血患者中出现,常伴随病情恶化,是脑出血不良预后强有力的预测因子。有效可靠的预测血肿扩大对尽早采取措施控制血肿扩大从而改善预后具有重要临床意义。基于常规实验室指标的生物预测标志物具有方便、快捷、经济、稳定、可行性高的优点。本研究的目的是基于常规实验室指标探索脑出血后血肿扩
学位
云计算技术的进步,使得云平台的种类朝着更加多样化的方向发展,产生了一些在网络环境、硬件架构等方面都具有显著不同的云平台。这些云平台通过混合部署方式构成了一种混合网络环境模式,使得云平台的环境变得更加复杂,进而导致云平台的监控和运维工作变得日益困难。传统的监控和运维平台可以完成基本的监控告警和半自动化运维工作,在一些实际场景中已经发挥了重要作用。由于这些监控运维平台不支持多云跨环境管理、多层次监控、
学位
生产制造业是国民经济的支柱性产业,我国工业生产制造逐渐向数字化转型,工业生产过程中会产生大量时间序列数据,对这些工业时序数据进行分析和挖掘可以有效保障生产安全、促进工业决策、提高生产效能。但是工业时序数据存在维度高、动态性强、噪声干扰多、非平稳的特点,导致现有时序挖掘方法失效。本文聚焦于工业时序数据挖掘中的多元时序预测及异常检测问题研究,旨在通过准确多元时序数据预测方法及有效多元时序数据异常检测方
学位
工业废水和生活污水等的直接排放严重危害人类生命安全以及生态环境的保护,对废水进行成分以及含量的检测具有重要意义。常用的对水体中重金属元素检测的方法大多需要对样品进行复杂的预处理,检测效率低,不能多元素同时分析,因此,亟需发展一种实时、原位、可以进行多元素分析的方法。激光诱导击穿光谱技术(Laser-induced breakdown spectroscopy,LIBS)是一种具有快速、实时、无需样
学位
随着云服务的发展,用户的需求日益增多,微服务体系架构成为了当今企业解决单体应用模式的主要方案,其将一个大型的单一应用程序和服务划分为几十上百个微服务。微服务系统架构中的各个部分责任明确,调用关系复杂,故障发生时,准确定位故障服务节点有助于排查系统故障原因。由于微服务系统的故障通常是由于内存利用率、CPU利用率等关键性能指标发生异常导致的,因此想要对微服务系统的故障进行检测,需要在定位微服务系统发生
学位
随着科技的不断发展,无人机逐渐成为生活中常用的电子设备,其充电主要通过传统蓄电池供电方式,需要在地面上对蓄电池进行充电,因此在偏远山区进行作业时其续航能力成为难点。微波无线输能(MPT:Microwave Power Transmission)技术利用微波在空间中传输功率,可以为无人机持续供电。整个系统包括发射、传输和接收三部分,发射部分作为系统的微波源,为终端提供功率能量,传输部分是空间中微波的
学位