基于LSTM的电商平台Kubernetes集群弹性扩缩的研究与应用

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:jaky111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网行业的高速发展和物质生活的极大丰富,国内外涌现出大量的互联网电商平台。持续膨胀的数据量以及日益复杂的业务场景,对支撑电商平台的基础架构的性能和稳定性提出了重大考验。在保证系统性能和稳定的同时科学地控制运营成本是管理者关注的重要方面。本文通过对基于微服务及云原生架构的互联网电商平台的业务特点和Kubernetes集群的负载指标进行分析,指出了存在的资源浪费和服务抖动问题:负载指标变化规律与人类生活特点密切相关,存在明显的波动性与周期性,在负载较低时会浪费大量的集群资源。采用Kubernetes集群Pod水平自动扩缩(Horizontal Pod Autoscaler,HPA)这类被动弹性策略虽然可以节约部分资源,但扩容过程中新实例从调度到最终可用需要多达数十秒的时间,这段时间可能会发生服务的抖动,造成服务质量下降。针对以上问题,论文提出基于长短期记忆(Long-Short Term Memory,LSTM)网络的Kubernetes主动弹性扩缩方案,一方面利用LSTM对Kubernetes集群负载进行主动预测并调度,另一方面开启了共享GPU支持的Kubernetes集群也作为预测应用部署的载体,具体研究内容如下:1.对Kubernetes集群Pod水平自动扩缩原理进行研究,分析了被动式弹性扩缩方案产生服务抖动、质量下降的原因。并提出使用主动式的弹性扩缩方案,在负载高峰到来之前,预判性地提前对服务的副本数(Pod)进行扩容。结合电商平台集群负载数据特征和业务场景,对常见的时间序列预测模型(基于线性模型的ARMA、基于集成学习的决策树模型、基于循环神经网络的LSTM模型)进行了研究、分析和对比。提出LSTM是电商平台负载指标预测最适合的模型,改善了服务扩容时的抖动现象,提高了服务的质量。2.构建了基于LSTM的服务负载指标预测模型。首先对负载指标进行采集和预处理,然后使用正则化、调整epoch、随机失活等方式解决了过拟合问题,使用调整激励函数和Batch Norm方法解决了梯度消失的问题。为优化模型反复调整了网络深度、神经元个数、优化器和学习率。为提高LSTM模型训练速度,对开启GPU进行模型训练的原理以及Kubernetes集群共享GPU方案进行了研究,提出了基于Gaia GPU的Kubernetes集群共享GPU方案。最终解决了在Kubernetes集群中运行GPU程序资源共享和资源隔离问题,提高了LSTM预测模型的训练速度和预测的准确率。3.基于以上研究内容,设计并实现了一款Kubernetes集群Pod预测性水平扩缩组件-PHPA。该组件遵循云原生的设计和部署原则,与Kubernetes高度适配,通过简单的配置即可自动对Kubernetes集群中指定的服务进行负载指标收集、预测模型训练、负载指标预测、服务副本数调度的工作。经测试PHPA组件能较好的适应电商平台负载特点,有效解决传统响应式弹性扩缩滞后性引起服务质量下降问题,显著提高服务质量。
其他文献
教师职称制度的建立旨在通过衡量教师的专业实践水平促进教师的专业发展。然而,当前教师职称制度的实施在很多方面都背离了这一初衷,如过度关注外部量化指标,忽视“教”之于“学”的影响等。随着研究的深入,学者们发现教师表现性评价能够考察教师在一定情境中的真实教学能力,提供研究教之于学影响的证据。美国新墨西哥州最早将表现性评价引入教师职级制中,于2003年建立了三级教师资格认证体系(the Three-Tie
学位
校园欺凌是学校教育中绕不开的话题,一直以来困扰着各个国家的教育工作者。在校园欺凌频发的背景下,我国对校园欺凌的治理力度不断提升。有关部门相继推行并实施了全方位的应对策略,联动司法部门、学校、家庭、社区等,合力推进平安校园建设。2021年伊始,教育部基础教育司迅速开展针对中小学生欺凌的专项治理活动,其力度和广度前所未见,足见国家治理校园欺凌的决心。现实的关注也激发了学者们对校园欺凌研究的热情。尤其是
学位
长期以来,我国在芯片制造和测量领域明显落后于世界领先水平。晶圆薄膜应力测量系统用于测量晶圆表面镀膜质量,在芯片制造工艺流程中起到至关重要的作用。我国对晶圆薄膜应力测量系统的需求基本依赖于进口,在实际使用过程共存在两个问题:一是测量系统的设备调试和使用流程过于繁琐,影响生产效率。二是测量结果精度较低,测量重复性无法得到保证。尤为重要的是,在当今国际科技竞争局势下,该测量系统的进口也变得愈加困难,这显
学位
亚热带森林作为我国典型的地带性植被,是全球陆地碳汇最重要的贡献区域之一。然而随着全球气候变化的持续加剧,原本降水充沛的亚热带地区频繁地发生极端干旱事件,严重影响森林生态系统的碳水循环和碳汇功能。生态系统碳汇功能对干旱的响应依赖于植物个体碳水生理过程的响应程度,其外在表现即树木生长速率的快慢。然而,由于树木生长和碳水生理过程对极端干旱的响应具有阶段性和复杂性,其具体机理尚不明确,尤其是水分和养分利用
学位
人口老龄化成为我国发展的新常态,伴随着家庭基本养老单位日益缩小,未来政府在老年人照护体系中的责任将越来越明确,发展多样化的养老方式势在必行。掌握老年人的健康预期寿命演变轨迹,了解不同养老方式对老年人健康状态和健康预期寿命的影响也成为完善养老服务体系重要的一环。而现有研究中鲜少涉及这一方面,因此本文围绕这一问题探究,并借此为完善养老照料体系提出可行性建议。具体方法与结论如下。首先,基于2002-20
学位
随着基础教育课程改革的不断推进,指向知识深度理解与迁移的项目式学习成为素养时代关注的焦点。新修订的高中课程标准中许多学科如语文、信息技术、地理等均提出要使用项目式学习;实践中,项目式学习也进入了越来越多的课堂。然而,传统的评价方式已无法满足项目式学习的评价需求,指向高阶思维与核心素养的表现性评价被认为是适合项目式学习的一种评价方式。如何设计项目式学习中的表现性评价是教师面临的一大挑战。本研究基于已
学位
笑是一种基本的社会文化现象。尽管已有丰富的研究探究机构互动中的笑,对课堂上的笑的研究仍处于课堂互动研究的边缘地位。科学本身的严肃性,使得科学课堂上的笑声尤为独特,而国内目前尚无这方面的研究。本文基于社会建构主义理论,采用基于视频的互动分析法,以上海某学校六年级科学课堂长达61小时的视频录像为主要分析材料,从中选取66个笑声互动片段进行多模态会话分析,探究科学课堂笑声发生的情境、师生参与的方式以及笑
学位
随着互联网和新闻媒体的发展,众多信息发布网站层出不穷,网站内容监管的重要性也与日俱增。由于互联网的便利性,舆论传播和发酵的速度极快,依靠人力监控很难在第一时间发现问题。现有的敏感词检测方案也多是在网站发布内容时检测其中的敏感词,但敏感词会随着时事而变化,内容发布时的检测已无法满足舆情监控的需求。因此,必须通过自动灵活的网站敏感词监测系统来对网络舆情进行监测和处理,从而保障网络安全和社会稳定。基于上
学位
呼吸系统疾病是一类常发性疾病,其致死风险在城乡均排名前列。探究影响该类疾病发病因素,降低其死亡率已成为近些年的研究重点,但在诸多研究当中,包含时空效应分析的研究较少。本文使用广州市2016-2019年呼吸系统疾病门诊数据与51个环境监测站获得的大气污染物数据,研究该地区呼吸疾病死亡病例与环境因子的关系,同时考量时空随机效应的影响,最终实现疾病制图。模型拟合基于贝叶斯框架,并使用INLA算法进行参数
学位
PageRank算法是一种计算图网络数据中节点重要性的算法,通过入链节点的重要性和入链节点的数目来计算每个节点重要性,可以广泛应用于搜索引擎推荐、社交网络人群重要性排序以及文献作者排序等实际问题中。但在实际问题中,由于图网络结构的拓扑结构,同一节点对不同节点的重要性贡献是不同的,这时使用原始的PageRank算法计算网络中节点重要性不够准确,而基于无向结构的PageRank算法虽然可以改变计算过程
学位