分布式业务集成部署平台的设计与实现

被引量 : 2次 | 上传用户:liongliong559
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着应用的多样化发展和大数据时代的来临,学术界和工业界设计并实现了多种分布式业务系统作为编程框架来应对日益增多的数据类型和应用需求多样性挑战,例如适用于离线批处理场景的框架MapReduce、适用于流式计算场景的框架Storm、适用于内存迭代计算场景的框架Spark、适用于DAG计算场景的框架Tez、适用于图计算场景的框架Pregel等。在未来的发展中,新的计算框架有很大概率会持续性出现。无论是现有框架还是未来的框架,都将专注于特定应用场景,不会出现某个计算框架能适用于全部的应用场景,成为它们共同的最佳选择。在生产环境中,分布式业务系统经常也离不开某些通用服务,例如Web服务器、数据库服务器等。为每个分布式业务系统提供专门的基础设施,单独设计部署存在扩展性差、利用率偏低等问题。针对以上这些问题,本文结合国内外现有的研究情况,分析当前部署支撑平台的架构和特点,设计并实现了分布式业务系统集成部署平台(Distributed business system Deploy Platform,DDP),提供自动化部署分布式业务系统并高伸缩定制化运营的基础支撑服务。主要工作与创新点如下:1.实现集群复用,在一个集群整体上运行各种计算框架等分布式业务系统,并根据异构性的业务资源请求,自适应最优匹配的承载节点。基于业务负载动态扩容和收缩。按需索取计算资源,当业务负载超过阈值高位值时,进行动态扩容,为业务模块的分配更多的资源,当业务负载小于低位值时,进行收缩,回收空闲资源。实时监控业务系统模块运行的情况,当发生故障时,能在其他部署节点上重启运行,保证了故障常态下的容错。2.优化了双层调度模型,多个调度器通过对集群状态的共享进行资源分配并优化了冲突概率。提高了系统的并发度。3.采用了开源容器承载业务系统的运行,提升了系统的隔离性和可扩展性。通过功能测试,本系统对具备有效的监控和容错处理,能够对计算资源进行合理分配。
其他文献
人说“少年不懂李宗盛,读懂已不再少年”。在不再少年的年龄,回首我在物业行业兜兜转转这20年,似乎读懂了他那句“人生没有白走的路,每一步都算数”。从初入职场到今天,每一次选择
期刊
自本刊2000年第二期发表本人的<增加肝素钠收率的有效措施和方法>一文后,许多读者来信询问有关肝素钠及提取的问题.从这些读者的来信看,他们对肝素钠的一些基本情况了解得还
正确厘清政府市场及社会的关系,明确三者在社会事务中的角色,是摆在社会体制改革面前的一大难题。需要划清彼此的权限边界,使三者系统内部良性运行和协同均衡。社会工作是社
如今,汽车已是人们出行最便捷的交通工具,在提高居民生活品质中扮演着至关重要的角色。然而,我国迅猛增长的汽车数量与有限的停车场资源形成了鲜明的对比反差,车主常常为找不
苦参碱的生物活性比较广泛,临床研究表明,苦参碱可用于抗炎、解热、调节免疫、治疗心律失常、脂多糖诱导的肝损伤;也可以通过增加白血细胞的数量并抑制肿瘤细胞的生长,作用于
20世纪50年代,胡适因为“问题与主义”之争,成为被批判的对象。本文通过还原当时的历史场景,着重指出两点:第一,胡适与李大钊的这场争论,乃是朋友之间很正常的意见分歧,这场
港口是货物集散、贸易往来的重要场所,是一个国家或地区的运输枢纽。随着港口服务市场近年来供求关系的转变,港口企业为谋求更长远的发展,试图通过传统商业智能技术辅助其决
介绍了司盘 - 80有关指标与乳化液稳定性的关系 ,实验结果表明 :在一定范围内增加酯化物含量、放宽羟值的范围、降低水分含量有利于乳化液稳定性的提高 ,由不同质量油酸生产
职业教育发展与社会经济发展密切相关。在当前我国经济社会转型的关键时期,国家密集出台了招考改革和加强职业教育发展的一系列改革措施,对职业教育的发展走向产生重要影响。
针对当前烟野烘烤过程中供热系统不稳定、热能利用率不高、加热设备的材料与规格等方面问题,采用生物质能源炉具替代煤炭供热系统进行研究。结果表明院应用智能化生物质烤房