北斗监测接收机海量数据处理与存储架构研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:suguangli1507
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
北斗卫星导航系统是我国自行研制的全球卫星导航系统,对于我国国防安全和国民生计具有重大战略意义。监测接收机作为卫星信号质量检测工具,关乎到卫星系统全球组网能否顺利实现。监测接收机通过固定协议和标准对卫星信号完整性进行分析,只有监测接收机处于正常工作模式,卫星信号评估时才能得出正确的分析结果。因此,监测接收机的测试评估是各监测接收机生产厂家最为关注的生产环节。传统的监测接收机测试评估往往采用人工方式,借助串行处理信号分析软件对接收机实时流数据接收并存储,再通过逐台、逐测试项的评估方式进行离线测试。在长时间接收的情况下会产生巨大的数据量,数据采集耗费大量时间和人力,且相关评估软件无法并行处理数据,人工参与度大,无法给出实时结果,且性能极其不稳定,已经无法满足我国第四代导航系统的测试评估要求。因此,研究并实现支持长时间数据处理、支持实时数据评估,且可以同时支持多台监测接收机测试评估的处理与存储架构将极大提升监测接收机测试评估效率,对卫星导航工作的顺利开展有重要意义。首先,本文设计了监测接收机整体测试评估流程,并对数据接收和数据处理与存储流程进行了详细设计。在此基础上,本文在单机下实现了C++串行化的测试评估代码,使用Visual studio Profile对该实现代码进行瓶颈分析。通过瓶颈分析,发现在串行测试评估过程中存在单机内存不足、耗时较长且无法实现实时评估的问题。同时,测试数据以时间序列排列,各个测试项互不干扰,各频点、卫星下的测试评估均可单独进行的特点,符合并行化处理的要求。针对这些问题,提出了使用分布式、并行化接收并处理的方案。不同接收机数据通过分布式一致性哈希算法映射到不同计算机节点,使用Kafka消息中间件缓冲数据并解耦合数据接收和数据处理模块,并使用Flink并行化处理多测试项、多接收机数据,最后将测试评估结果与接收到的数据存入HDFS分布式文件系统中。其次,在提出的分布式、并行化接收并处理方案的基础上进行研究试验,实现了本文所提出的基于Flink+Kafka+HDFS的监测接收机数据处理与存储架构。将实现过程分为三个部分,第一部分为数据的接收与Kafka对实时数据的传输实现,并按照接收机数据特点,对每个测试项数据分别实现了数据序列化与反序列化器。第二部分针对瓶颈分析中总结出的4种典型数据处理过程,对监测接收机的这4项典型测试项处理过程使用Flink并行化处理。第三部分为接收机评估结果文件与接收机数据在HDFS集群中的存储实现,根据测试项与频点号在HDFS中创建了不同的存储路径,并且针对本文中结果文件为小文件的特点,优化了原始存储算法,采用合并小文件为组合文件,并增加索引表的机制对HDFS存储结构进行了优化。最后,对本文提出的基于Flink+Kafka+HDFS的监测接收机数据处理与存储架构进行实验与分析,包括功能测试和性能测试。实验环境为4台PC机搭建的分布式系统,在该实验条件下,功能测试表明,本文所提出的分布式架构能够使用TCP接收监测接收机信号并解析,通过消息队列Kafka实时传输给Flink,在Flink中并行化处理接收机多项测试项数据和多台监测接收机数据,并在数据处理过程中,将原始数据和测试结果存入HDFS。通过处理流程的并行化,本文提出的分布式架构数据处理相较于原始串行化算法,平均加速比达到了4.0,接收机测试评估性能有了明显提升,说明本文所实现的基于Flink+Kafka+HDFS的分布式处理与存储架构适用于监测接收机批量测试评估流程。
其他文献
中国婚姻制度历史悠久,且具民族特色。发掘和阐释其历史,对于社会史和法律史的研究无疑具有重要意义。 我国学术界对婚姻家庭史的系统探讨发端于本世纪二三十年代。新中国建
目的:了解本院2016~2017年肠杆菌科主要病原菌在普通病房和ICU病房的菌种分布及耐药性。方法:对分离自2016~2017年,本院主要2种革兰阴性肠杆菌和仪器所测最低抑菌浓度(minimu
非线性泛函分析是现代数学中一个重要的数学分支,其主要内容包括拓扑度理论、不动点理论、半序方法等.非线性泛函分析为研究具有非线性问题的诸多领域中的数学模型提供了理论
本文在价值观.道德标准.社会关系.社会礼仪.和社会习俗方面对中西文化进行对比,以达到提高跨国文化交际能力.
梨小食心虫是桃园的一种主要害虫,为了克服现有防治技术的不足,本试验采用在田间使用迷向膏剂释放性信息素迷向法干扰成虫正常交尾,致使后代种群数量减少;同时调查折梢率和蛀
黑龙江垦区企业集中着我省目前最著名的若干绿色食品产业品牌,广大消费者日益重视食品安全性、健康性产业发展,黑龙江垦区应抓住我省大力发展绿色食品产业的有利时机,勇敢面
近年来,随着我国社会经济与文化的不断发展,人们的生活方式发生了巨大改变,赣剧饶河戏弹腔的发展与创新受到了严重阻碍。本文主要就当前赣剧饶河戏弹腔在传承与创新过程中存
针对地铁施工监测数据的文件管理模式已满足不了大量监测数据快速分析和长期安全保存的要求,提出了建立地铁隧道的安全监测信息系统,并对系统功能结构、系统数据库设计、系统
点模式及其趋同研究是揭示地学现象的产生、发展与演变,量化空间相似性分布、诠释空间分布成因的重要方式。目前,点模式研究侧重于已知频率与随机分布的一元独立性检验、距离
目的研究舒适护理模式对急性胆囊炎手术后患者疼痛的应用效果。方法选取本院2017年1月至2018年12月符合标准的急性胆囊炎术后住院患者120例作为研究对象,2017年1月~12月符合