分布式一致性核心平台设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:yinlei102
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着云系统容器化、隔离化浪潮的兴起,支持容器的分布式系统也越来越多。以容器为单位的云系统中,往往由一个资源调度平台登记系统资源并对其调度分配。资源调度平台面临的问题比较宽泛,本文主要关注其数据管理的相关问题,以对数据存储提供支撑。主要包括:如何设计并实现一致性策略,使得系统在绝大多数情况下能对外提供一致的存储服务,以满足高并发、高可靠、高频率的数据操作需求。其次,任务调度策略如何保证存储节点的负载均衡,以期在现有条件下获得更好的服务性能。最后,节点恢复后,如何快速重新加入集群,使得系统具有更好的可用性。本文设计并实现了一个分布式一致性核心平台,将应用于资源调度平台,对其中数据存储提供支撑。本文的主要工作如下:1)一致性策略。为了能使系统能具有更好的可靠性和容错性,在异常情况下也能保持集群内节点数据的一致,本文采用Raft协议,由集群内选举出leader节点提供读写服务,节点间通过日志复制来保证存储数据的一致性。为避免在读操作时由于集群“脑裂”而可能出现的返回数据不一致现象,引入leader lease机制,采用proxy leader作为集群对外接收请求节点,并设计分布式锁保证。2)中心节点和任务调度策略。为了使系统的数据分布能负载均衡,本文采用基于资源利用率的一致性哈希方案,将承载数据映射的虚拟节点分布在哈希环上,由中心节点监控各物理节点的负载,根据物理节点的负载动态调整虚拟节点个数,以维持系统的负载均衡。同时,为避免中心节点成为系统可用性的薄弱环节,采用一致性的设计策略保证其容错性。3)故障快速恢复策略。为加快节点恢复,系统采用日志加快照的方式,周期性地对数据做版本快照。当节点恢复,它首先根据日志的记录加载本地快照版本,然后开始重放操作日志。最后,本文对一致性核心平台进行了功能测试和性能测试。从实验结果来看,统能够保证数据的正确性与一致性,而且通过相应的优化策略,一定程度上能提高系统的性能。
其他文献
在三维重建技术领域内,为了获得三维坐标信息,有许多方式,其中的双目立体视觉的三维重建,这种基于图像的三维信息获取方式,成本低,设备简单,是最常用的重建方式。而基于图像信息获得深度信息,这一过程,就是当下在双目立体视觉中最热门的研究课题——立体匹配,根本上是在两幅照片中找到同名点,从而计算视差值得到三维空间该点的深度信息的过程。本文以双目立体匹配为研究重心,对立体匹配中的四个步骤进行了介绍,并分别作
利用人工智能语音和图像技术来合成说话人物的音视频,是一门具有研究价值的热点课题,其实际应用范畴有代替主持人直播、视频内容重构、虚拟人物交互等等,可实现修改原有视频人讲述内容、避免多次剪切渲染视频或者直接取代本人录制等工作,并且在此场景之下合成出难以分辨真伪的音视频。音视频合成任务中包含从音频参数映射到人脸参数的环节,而音素匹配算法是实现该环节的方法中的一种。然而该方法中没有考虑人脸参数对匹配结果的
互联网的发展为人类生活中的许多方面带来了变革,在社交方面,社交网络服务(Social Network Service,SNS)已成为当代人最重要的交流方式之一。人们在社交网络中写作、共享、沟通交流建议,产生着大量高价值数据,这就使得人物画像技术,即对社交网络上的人物根据相关数据建模的技术,成为互联网领域重要的研究方向,其在精准推送、个性化服务、推荐系统等方面都有着重要的应用价值。人物属性抽取是人物
随着物联网和移动互联网的蓬勃发展,各种新兴的无线业务和应用对新一代通信系统的频谱效率、覆盖范围和用户接入提出了更高要求。由于毫米波具备波长短和频带宽等特点,可以解决无线通信中的许多问题,在短距离无线通信中拥有广阔的发展前景。然而由于毫米波存在绕射能力和穿透能力差等缺陷,当前研究者们提出了大型智能面(Large Intelligent Surface,LIS)来解决毫米波通信面临的主要问题。LIS通
近年来,随着移动互联网的快速发展,移动设备的数量和移动数据流量呈爆炸性增长。以第五代(the 5th Generation,5G)移动通信为背景,本文基于5G物理层数据传输协议研究了多输入多输出(Multiple Input Multiple Output,MIMO)、预编码、自适应调制编码(Adaptive Modulation and Coding,AMC)、混合自动请求重传(Hybrid A
由于无线电技术应用的领域越发广泛,无线电频谱的划分已经处于比较饱和的状态,很难找到空闲频段部署新的服务或改善现有服务。为了解决频谱资源紧缺的问题,可以引入认知无线电方法,允许感知用户二次使用已分配使用的频谱。这一方法使得频谱可以在时间和空间上得以充分的利用,有效的改善了当今频谱资源短缺的问题。在认知无线电中,为了保护授权用户,使其免受感知用户的干扰,需要感知用户能够可靠的获得此频谱在时间和空间上未
本文从粉丝经济的视角探寻移动电商品牌战略的构建,将粉丝经济的潜在效益作为移动电商品牌发展的新型驱动力与竞争力。文章通过深入研究粉丝经济的发展趋势,分析了粉丝经济与移动电商品牌的内在联系及相互影响,阐明了以粉丝作为目标受众时移动电商品牌的核心竞争力。此外,文章借鉴了品牌管理学与市场营销学的理论知识,对相关品牌的战略进行了分析与梳理,从品牌定位、品牌识别、品牌传播的角度提出了品牌战略规划的相关策略。最
同频段通信设备在有限区域内同时进行信号收发,密集分布的设备间同频干扰严重降低了通信质量,必须消除同频共址干扰才能保障正常通信。为了解决上述问题,本文研究了同频共址干扰的数字域干扰对消技术。考虑无线信道的快速时变特性和硬件平台的实现复杂度约束,论文设计了一种低复杂度的数字域共址干扰自适应抑制结构,具体工作如下:第一,系统分析了同频共址干扰应用场景,推导了数字域共址干扰对消算法的数学模型。考虑到接收信
随着现代军事装备的发展,雷达、电子战系统等领域的军事电子系统朝着高频率、大功率和高稳定性的方向发展,特别在大容量通信方面朝着毫米波太赫兹频段发展。当器件工作频率达到太赫兹频段时,固态功率器件存在输出功率小、效率低、体积大和系统成本高等缺点,难以满足当前的军事设备应用需要,微波功率模块(MPM)在这样的条件下应用而生。MPM把固态功率器件和电真空功率器件结合在一起,在很大程度上能够实现优势互补,具备
随着社会的的发展,远程医疗、网络直播、智慧工业、物联网等发展应用给移动网络带来了新的机遇与挑战。要从根本上消除人民群众对于移动互联网日益扩大的数据需求和有限的通信设备数据处理能力之间的矛盾,最好的途径就是利用宽带高频信号来进行移动通信,自然也促进了5G通信的快速发展。通常把拥有高增益、高线性度、良好驻波系数的驱动放大器作为功率放大器的前级,把系统中的小功率信号进行放大后驱动末级功率放大器,才能保证