备份系统数据高并发处理与系统高可用性的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:oldfan48
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国北斗卫星建设事业的发展,国家组织相关部门研制了北斗地基增强系统,并在全国各地陆续建设国家框架网基准站与卫星直接通信,接收原始数据。作为北斗地基增强系统的分系统某数据管理系统的增强备份中心,备份系统与数据管理系统保持同步,均会接收基准站的原始数据,然后进行标准化处理。随着基准站数量不断增多,实时流数据规模也越来越大,原有的单机多线程的处理方案无法满足对原始流数据的实时处理需求,因此需要在备份系统中研究实现对基准站实时流数据的高并发处理方案。另外,当数据管理系统不可用时,在对用户透明的情况下,备份系统需要替代数据管理系统对外提供服务,最大限度地减轻数据管理系统单点故障带来的影响,因此需要从对外提供服务的角度,研究实现整体系统的高可用方案。本文借助基于分布式的流数据处理、计算框架来实现数据高并发处理方案,通过使用Flume框架接收来自框架网基准站的原始数据,对原始数据进行数据包解析、时间转换等预处理。然后通过基于ZooKeeper协调的分布式消息系统Kafka对Flume接收到的数据进行缓冲来保证整个数据传输与处理过程平稳衔接。使用Flink流处理计算框架消费来自Kafka的数据,根据给定的数据格式转换算法将原始数据由二进制格式转换为RTCM3.2标准格式的数据,完成对框架网基准站原始数据的标准化处理。本文采用基于远程文件同步算法Rsync算法和文件系统监控机制inotify的远程数据同步方案,来实现备份系统与数据管理系统的业务数据以及设备状态信息一致性,在此基础之上,当监控到数据管理系统不可用时,通过对用户透明的服务系统切换,由备份系统替代数据管理系统对外提供不中断或暂短中断的服务。最后对数据高并发方案以及系统高可用方案进行测试验证,实验结果验证了本文研究工作方案的有效性和合理性。数据高并发处理方案能够实现低时延地接收、高并发地处理基准站原始数据,且随着基准站原始数据量的增加,通过分布式并行计算实现的低时延的优势更加明显;系统可用性方案也可以实现在数据管理系统不可用时,通过备份系统接管服务,从对外提供服务的角度,实现整体系统的高可用。
其他文献
文夕的“三花系列”——《野兰花》《海棠花》《罂粟花》在上世纪90年代出版时十分轰动,引起小说评论界热议。而后,由于话题的敏感性,《罂粟花》在一段时期内被禁,文夕也离开
近年来,信息技术不断地改变着人们的生活,应用在各个领域为人们提供更加便利的服务。金融行业在信息技术的带动下,也不断衍生出新的业务模式、新的产品等等,给整个金融行业的
我院于1995年7月~1997年5月,应用负压封闭引流技术(vacuumsealingdrainage,VSD)治疗50例严重急性软组织损伤合并感染的创面,并与同期入院行常规换药治疗的50例病人相对照,观察VSD的疗效。临床资料与方法一、临床资料病例...
十八大以来,党中央高度重视扶贫工作,提出了“到2020年现行标准下农村贫困人口全部脱贫,贫困县全部摘帽,解决区域性贫困”的宏伟目标;2017年,党的十九大,把打赢脱贫攻坚战作为实现全面建成小康社会必须攻克的三大攻坚战之一,以深度贫困地区脱贫攻坚为重点,做出全面部署。为了打赢这场脱贫攻坚战,党中央实施了“干部下乡,精准扶贫,产业帮扶”等一系列扶贫举措,取得了瞩目成效,截止到2017年,贫困发生率由2
随着电子信息技术的不断发展,人工智能、自动驾驶等新技术、概念被越来越多人熟知。作为当代科技的前沿领域,人工智能与自动驾驶有什么关系,人工智能又是如何在自动驾驶技术
新世纪诞生的日本第一位首相——小泉纯一郎已经入主永田町的官邸。《读卖新闻》在4月底举行的民意调查表明,小泉内阁的支持率高达87.1%。超过1993年细川护熙内阁刚刚成立时的
洗煤和造纸行业大量使用奥氏体不锈钢制作筛板进行筛分作业,滤筛服役过程中因与物料的磨损腐蚀而导致失效,一般寿命较低。本文首先对洗煤筛板和造纸筛分筛板产品进行了分析表征,结果表明不锈钢筛条在洗选工作时承受了固体介质的冲蚀、磨损作用,表面出现了严重磨蚀坑,使服役工件过早失效,造成了生产成本的增加。氮化处理可提高不锈钢表面硬度,改善不锈钢表面的耐磨性。本文选择AISI 304和AISI 316两种奥氏体不
为了明确玉米单倍体诱导系农大高诱1 号(CAUH01 - 1 ) 在不同遗传基础和生态环境下的诱导率,利用CAUH01 - 1 为父本,郑单9 5 8、石玉9 号、石玉7 号、先玉3 3 5 共4个 F1 代杂
物联网目前已经成为最大的计算平台,然而随着物联网不断深入我们的学习、生活、工作中,物联网的发展也产生了诸多问题,如物联网的逻辑架构和安全问题。传统的物联网架构是以云计算模式为主,这种计算模式下的物联网拥有无可比拟的计算和存储资源的优势,适合处理海量数据,提取有价值的数据。然而传统的物联网也存在着安全问题,用户和物联网设备的隐私信息容易遭受攻击和暴露。因此物联网需要新的体系架构和安全技术,解决物联网
随着中国老龄人口占比的快速提升,养老成为关系国计民生的重要问题。虽然在国家及各级地方政府的引导和支持下,民间资本积极参与养老院建设,子女也越来越重视父母的老年生活情况,但是养老问题依然没有得到很好的解决。目前养老企业普遍规模偏小,缺乏长期发展战略,不能满足大部分老年人希望留在家中养老及获得多元化养老服务的需求。社区居家养老作为一种新型养老模式,使老年人可以不用离开自己熟悉的家,就能够获得养老服务,