基于Flink流处理框架的开放处理服务系统设计与实现

来源 :武汉大学 | 被引量 : 0次 | 上传用户:hz198119
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网和信息技术的发展,传感器数量呈海量增长。传感器采样频率和精度也在逐步提高,大量流式数据不断产生,对系统的实时性造成了巨大挑战。GIS逐渐从传统离线静态GIS发展为实时动态GIS。Apache Flink作为一个高吞吐与低延迟的流式处理引擎,被广泛应用于实时流处理程序。但购置配置集群服务器,部署分布式流处理引擎以及对分布式计算资源的管理都对小型GIS系统开发人员造成了一定困难,实时流式处理服务资源异构化,不利于服务的共享和互操作。开放地理信息联盟(Open Geospatial Consortium,OGC)在2007年提出了网络处理服务(Web Processing Service,WPS)规范。WPS定义了针对地理空间数据处理过程的描述规范,用于网络处理服务资源的发现和共享。但WPS规范不提供对流式数据处理的支持,现有WPS服务也均不支持流式数据的实时处理。本文针对这一问题进行研究,主要研究内容及成果如下:(1)结合WPS 2.0规范以及Google Dataflow流式编程模型,提出了WPS流处理服务模型Streaming WPS Model。该模型定义了在实时流式数据处理场景下,流处理服务提供方如何通过WPS标准发布可共享的服务。流处理服务调用方能够在无需部署和了解流式计算框架及算法细节的情况下,通过调用WPS标准操作接口,迅速构建流式数据处理应用。(2)基于OGC WPS 2.0规范中的服务描述以及服务接口模型进行了扩展,使其支持流式处理操作。本文通过Dataflow流式编程模型与WPS处理模型的映射,构建了WPS流处理操作的描述模型并使用XML Schema进行了模型实现。(3)基于本文提出的WPS流处理服务模型,设计并实现了基于Flink框架的WPS流处理服务系统。同时,本文基于“两客一危”车辆实时监测应用场景,开发了车辆实时监测服务及客户端应用,并对流处理服务性能进行了测试。本文针对流式数据处理服务的互操作难题,基于WPS 2.0标准提出了WPS流处理服务模型,并实现了相应的WPS服务系统。结果表明,基于WPS流处理服务模型进行实现的系统能够支持流式数据处理服务的发现、共享与互操作。GIS用户能够通过WPS操作接口迅速构建实时GIS系统。且对比传统静态GIS服务或Spark程序,基于Flink框架的WPS流处理服务数据处理实时性有明显提高,流处理优势随着数据量增大而更加显著。说明该模型对于异构流处理服务资源的共享具有一定积极意义。
其他文献
<正>利用区块链等新基建技术,加强碳排放数据管理、提升数据质量对促进相关产业绿色低碳转型,对实现“双碳”目标具有重要意义。区块链是分布式账本技术,也是密码算法、共识机制和智能合约等技术的集成,具有去中心化、不可篡改、协同自治的特性,在解决多主体互信性问题上具有显著优势。中共中央总书记习近平在2019年10月主持中共中央政治局集体学习时强调,区块链技术的集成应用在新的技术革新和产业变革中起着重要作用
期刊
当前经济下行压力增加,国际形势发生深刻变化,这给企业带来一定的挑战。企业在发展过程中只有提高自身的市场竞争力,重视销售活动管理,才能做大做强。因此,企业要研究营销策略,认识到营销管理工作的重要性,结合自身实际特点采用现代化营销策略提高市场占有率。但是,当前较多企业在制定营销策略的过程中没有利用4P营销理论等先进的营销理论开展营销工作,所采用的营销策略存在一定滞后性,无法为客户提供满意的产品与服务。
期刊
GNSS技术发展的目的是能够提供更高精度,更高完好性、连续性和可用性的位置服务,而实现高精度和高可靠性实时位置服务的基础是能够提供稳定可靠的实时精密轨道。而出于轨道保持的目的,导航卫星通常需要定期进行轨道机动,如果不能有效探测轨道机动并针对轨道机动进行定轨策略的调整,未模型化的机动力将会严重影响实时轨道精度。本文主要针对GNSS卫星实时滤波精密定轨与机动探测方法展开研究。主要工作和主要结论如下:1
学位
<正>为贯彻落实习近平总书记关于儿童青少年近视防控系列重要指示批示精神,落实《综合防控儿童青少年近视实施方案》《儿童青少年近视防控光明行动工作方案(2021—2025年)》,3月30日,教育部印发《2023年全国综合防控儿童青少年近视重点工作计划》(以下简称《计划》),进一步加强组织领导,明确部门职责,系统谋划和扎实推进新时代儿童青少年近视防控工作,坚持切实增强合力、部门分工协作的原则,确保完成《
期刊
在智慧城市建设中,利用地理信息系统(GIS)技术构建城市基础设施的空间地理数据库是一切的基础,高效快捷的地理信息数据采集工作则是首先要完成的工作。然而在城市复杂环境中,全球导航卫星系统(Global Navigation Satellite System,GNSS)信号容易被建筑、树木反射和遮挡,导致实时动态(Real-time kinematic,RTK)载波相位差分技术不可用,而传统的测量手段
学位
建筑物损毁信息是震后灾情快速评估和应急救援的重要决策依据之一。目前遥感技术在震后建筑物损毁评估的应用中,最常用的数据源为卫星、航空等下视遥感影像,这会导致众多顶面结构完好而中间层、底层倒塌或崩裂的损毁建筑物处于检测盲点的问题。现有的建筑物立面损毁检测研究开展较少,且主要基于小样本开展相关研究,模型的检测能力和泛化能力均存在较大提升空间。针对上述问题,本文主要从建筑物立面视频损毁快速检测和影像损毁精
学位
大气阻力是作用在低轨道空间目标上的最大的非引力摄动,而中性大气密度误差是影响大气阻力精度的最显著不确定性因素之一。目前大气密度模型以经验模型为主,存在较大的误差。热层大气密度的不准确建模会导致大气阻力计算值的不确定性。建立精确的大气密度模型对低轨卫星的高精度轨道确定和预报、卫星飞行任务精准规划、以及可靠的碰撞规避有着重要的意义。利用实测数据进行模型校正成为提高模型精度的一种有效手段。本文采用长短期
学位
教育对国家发展影响巨大,教学研究作为提升教育质量的必由之路,是促进教师专业发展的有效途径。长期以来,国家教育机关高度重视中小学基础教育,对教学质量的提升做出了很大的贡献。但社会的飞速发展对教研工作提出了更高的要求,经验主导、针对性差、精准度低等传统听评课教研存在的弊端日益凸显,难以满足教师个性化的成长和发展需求。同时,大数据、物联网、人工智能等先进科学技术的迅猛发展为精准化教研活动的开展准备了技术
学位
三维实景时空数据作为三维地理信息系统的数据基础,能够使用户直观地获得真实的城市场景。随着城市的快速发展与三维地理信息系统的不断更新,亟需越来越丰富和精确的三维实景时空数据来为城市管理规划提供技术支持,但目前的三维实景时空数据库缺少三维标绘和建筑物单体化功能,这为三维实景时空数据库服务于城市管理规划带来一定的困难。为了实现三维实景时空数据的有效管理,本文以西藏自治区为例,在数据整合的基础上提出了三维
学位
夜光遥感卫星具有探测地球表面发出的微弱光源的能力,接收地面人造灯光、建筑、道路、基础设施、船舶等发出的不同强度的夜间光信号,监测人类活动。过去的几十年,夜间灯光数据主要来自于DMSP-OLS和NPP-VIIRS,高分辨率LuoJia1-01夜光遥感卫星的成功发射,极大地丰富了定量化应用数据源,而数据产品定量化应用要求高精度的卫星影像定标处理。实验室利用均匀光源对传感器的稳定性、线性度等进行了动态标
学位