客户端聚合服务的协同机制在动态遥感监测中的应用研究

被引量 : 2次 | 上传用户:l521wubing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据、云计算等的发展让数据获取与数据存储变得更加容易,数据呈现指数式的增长模式,引发了学术界对科学研究方法的一次革新,即从验证因果关系转变为追寻数据规律性特征的思维模式。大数据时代正在促进信息化变革,推动着又一次的产业革命,大数据的应用与实施以云计算为基础,用以实现管理、存储、分析、处理等服务。利用大数据与云计算技术建立客户端聚合服务协同工作机制的信息管理系统对动态遥感监测工作具有积极意义。动态遥感监测数据具有大数据的特点,数据的“量变”势必会引起问题的“质变”,因此,解决问题的技术难度便成倍提高。在实际应用主要存在以下难点:(1)数据资源采集渠道广泛,预处理方法众多,不同数据源难以实现通用处理方法;(2)数据资源存储规模大且管理复杂,遥感影像数据分辨率较高,数据量较大,超出单节点图形工作站的处理能力;(3)数据资源关系复杂,常规的计算模式与系统架构难以实现高效访问与服务;(4)动态遥感监测项目主要依靠人工经验,其原始影像处理流程变化多样、提取图斑数量巨大;国家与地方的信息交互与数据共享效率较低,难以实现整体性的统计分析与挖掘;(5)数据资源多为涉密信息,数据隐私与安全急需有一个有力的保障机制;(6)数字国土的信息化建设存在瓶颈,如国土“一张图”的实现,多元数据协同展示、客户端协同标绘监测图斑及动态协同测算等问题。由于客户端聚合服务的协同机制具有“数据分散存储、信息实时汇聚、服务按需聚合”的特点,基于此,便为动态遥感监测提供了一种应用模型。本文针对目前客户端协同在动态遥感监测应用中存在的问题,依托相关课题,面向数据的全生命周期,从大数据环境下数据处理方法、数据间的交换共享、数据安全与权限管理等方面进行研究,通过以数据为核心和面向数据架构的理念为指导,以数据标识作为数据的识别和定位标记,建立数据的分类体系和访问权限;通过数据注册中心实现数据的管理和交换,建立各种数据功能单元,实现面向原型系统的数据共享与协同服务。本文主要工作如下:1.研究大数据环境下面向协同的数据处理方法研究大数据环境下基于聚类的数据分类方法,包括数据聚类、数据修补、数据变换、数据集成、数据归约等关键技术;研究基于典型遥感影像数据处理流程的建模,包括不同数据源处理模型选择、参数定义;研究基于云服务下高计算能力与高处理能力的数据分级治理,包括用户权限分级治理与数据资源分级治理。2.研究基于PDP的客户端协同机制研究用于客户端协同的数据交换规范C2ML,包括数据封装与发布标准、数据组织与管理技术;研究数据信息按需汇聚机制,包括协同并发控制算法、高效可靠的数据传递机制、计算机辅助协同技术、Web服务技术及简单对象访问协议等关键技术;研究支持数据协同的消息服务机制,包括协同信息共享、协同访问控制、协同标签、协同可视化等关键技术。3.结合全生命周期的权限管理机制,研究数据安全模型研究基于云服务的权限管理机制,包括数据安全共享与隐私保护等关键技术;研究数据全生命周期加密设计方法,包括生产、存储、传输和应用过程中全程加密;研究访问授权精细管理方法,包括按照数据集、用户、访问类型逐一授权;研究非对称的分类存储安全策略,包括非对称分布式存储、高低密级数据分隔管理等关键技术。4.研究客户端协同机制在动态遥感监测中的应用研究云服务下客户端协同应用技术,包括遥感元数据管理、相关遥感影像、高程数据、地质调查数据、矢量化数据、实时监测数据、动态遥感监测图斑等多尺度多维表达与可视化人机交互技术;研究大数据环境下动态遥感监测图斑判识、标注及测算,包括遥感影像数据批量预处理;研究基于PDP的数据分散存储策略、数据组织管理与数据交换标准。5.研究并搭建面向动态遥感监测应用的原型系统研究原型系统的总体设计方法,包括功能模块设计与开发;研究数据注册中心及关键技术,包括数据协同管理与数据安全模型;研究基于DOA的云服务机制,包括云存储模型、云处理模型、云治理模型、云安全模型等。论文的取得的创新点与主要成果有:1.提出了一种多维协同聚类的数据分类方法结合K均值聚类(KC)和模糊C均值聚类(FCM)算法,提出了一种多维协同聚类的数据分类方法(K-means Clustering&Fuzzy C-means Clustering,KC-FCM),利用KC优化FCM算法的初始化聚类中心选择问题,再利用FCM算法对获得的聚类中心进行优化,完成模糊聚类划分,结合模糊推理方法进行简约,实现聚类分类。通过理论分析及编程实验结果验证,KC-FCM算法能以较少的迭代次数收敛到全局最优解,结合支持向量机(SVM)使其可以获得更优的训练效果,能够有效地提高大数据环境下数据分类的精度和效率,较好的适应大数据环境特点,降低算法本身复杂度,可用于动态遥感监测的数据分类。2.提出了一种DOA的“点-数据注册中心-点”(PDP)协同消息服务模式,并提出了一种基于PDP的客户端协同工作机制运用大数据思维与云服务结构体系,从基础设施与数据两个层面入手,无需过分考虑存储能力与计算能力,以XML、GML、KML、HGML等标记语言为蓝图,提出了一种客户端协同标识(Client Collaboration,C2ML),结合面向数据架构(DOA)与C2ML标识,提出了一种“点-数据注册中心-点(”Peer-Data RegisterCenter-Peer,PDP)的协同消息服务模式,用于客户端之间点与点的平等通信,任意节点之间的信息交换统一通过数据注册中心(DRC)进行。将PDP与数据分散多层次存储策略相结合,形成一种高效的“数据分散存储、信息实时汇聚、服务按需聚合”的协同工作机制。通过实验结果验证,该工作机制适应多源/异构、海量/巨量、实时/动态、数据关系复杂、数据总量价值大但价值密度低的数据资源,具有易访问、易更新、易检索、易调度的特点,能有效提高大数据环境下客户端协同效率,为动态遥感监测原型系统构建提供理论指导和实践依据;为国土信息化发展和服务模式转变提供一定的理论意义和实践价值。3.提出了一种基于数据全生命周期的权限管理方法,并提出了一种基于非对称的分散存储数据安全模型在动态遥感监测实际应用中,高精度遥感数据与信息产品大多具有高度保密要求,需要保证在其全生命周期内的存储和应用服务的安全。结合产品数据管理(Product Data Management,PDM)与产品生命周期管理(Product LifecycleManagement,PLM),提出了一种数据全生命周期管理(Data LifecycleManagement,DLM)方法。结合权限管理策略,提出了一种基于DLM的权限管理方法。结合上述方法,提出了一种非对称的分散存储数据安全模型,用户根据需要将密级较高的数据信息自行保存在终端或云端单独管理,应用时与密级较低的数据信息执行分隔管理安全策略。并利用其暗箱特性,将数据信息进行比特级划分,使每个数据块均不包含局部完整信息。同时,充分考虑数据的生命属性特征,通过采用数据全生命周期的安全模式,对数据在生产、存储、传输、应用过程中纵向一体化全程加密,只能在客户端显示和理解;对动态/静态数据按照数据集、用户权限、访问类型逐一授权,针对不同数据与客户端用户,对发布、修改、应用权限进行精细管理,从而满足安全、高效的要求。4.搭建了一个DOA体系结构下,基于PDP协同消息服务模式的客户端协同动态遥感监测原型系统以面向数据架构(DOA)、大数据、云计算、信息安全、分布式技术等为理论基础,结合国家下发基础数据(包括全国二调数据、高程数据、DEM数据等)与2012-2013年国家动态遥感监测成果数据(包括不同分辨率的遥感影像数据、监测图斑数据等),以C2ML标识为核心,结合动态遥感监测行业应用需求为主的信息服务进行组织描述,设计实现了原型系统,并通过数据注册中心,结合PDP协同消息服务模式,实现了客户端的协同与应用展示。通过运行结果验证,在保障数据安全性的基础上,协同效率有一定提升。为探索大数据环境下将DOA用于动态遥感监测的实现模式提供科学依据与理论支撑;为国土行业及相关领域的系统开发具有一定参考价值;为减少当前各行业在空间信息化建设中的功能重复开发和数据重复建设具有一定的指导意义。面向数据架构作为一种新型的软件架构模式,其工作机制与服务模式尚未完全成熟,同时大数据也处于概念级和探索阶段,相关理论、方法和技术还处于发展初期,在动态遥感监测的实际应用中尚需对其理论体系和应用模式进行不断的丰富与发展,客户端协同的动态遥感监测系统也还有进一步的优化和扩展空间。因此,在本文对基于客户端聚合服务的协同机制原型系统研究的基础上,还有一些问题需进一步深入研究,下一步的工作主要包括:(1)进一步了解数字国土的相关知识,继续深入研究空间信息技术对动态遥感监测带来的影响,丰富客户端协同服务的内容,为动态监测、决策分析提供更多辅助支持服务;(2)继续对面向数据架构的工作机制与应用架构进行深入研究,将DOA的最新进展与动态遥感监测应用紧密结合起来;(3)在实际工作中继续研究客户端协同标识C2ML的语言规范并对其完善与修订,进一步的结合动态遥感监测应用需求完善C2ML的体系结构。
其他文献
改革开放以来,我国服务业发展已经取得了巨大的进步。但是就全球而言,我国的服务发展水平仍然属于中下水平,服务业占总产业的比值低于中等收入国家的平均水平。传统服务业在
宪法权威是指宪法作为一国根本法在国家和社会生活中,是所有机关、组织和个人最重要和最根本的行为准则。总之,要体现宪法的至上性、至尊性和至信性。美国、英国、法国、德国、
大坝帷幕灌浆质量关系到整个水电工程安全。云南省槟榔江苏家河口水电站大坝趾板帷幕灌浆前后进行超声波检测,并对检测结果进行详细分析和评价。灌浆后,单孔测试,全孔平均波
墨家的矛盾律与归谬类比理论,是墨家和其他各家争鸣辩论的一种有效工具。本文拟阐述墨家矛盾律、归谬法与归谬类比理论的产生和影响,认为它在现实生活中仍有强大的生命力,值得认
1.问题的提出受现代语言学特别是功能主义语言学和语篇语言学的影响,人们已逐渐将语言研究的重心由句子转向语篇,以句子为其研究和翻译基本单位的传统翻译理论和翻译模式正在发生
自汶川地震以来,公司捐赠在我国得到迅猛发展,公司捐赠社会影响力也越来越大。公司捐赠日益发展的背后也引起了人们的一些思考,如公司进行捐赠是否构成越权?公司捐赠的正当性基础
随着中国经济的高速增长,整体经济实力的扩大,人民币国际化问题日益受到关注。文章从政治、经济以及政府态度三个方面分析人民币国际化的可能性,得出人民币国际化的条件目前
由于网上保险的特殊性,保险人无法同传统保险销售模式那样,直接与投保人面对面地对格式条款进行解释,而是在投保流程中通过设置保险条款的下载链接、提供能够为一般理性第三者所
本文在对东平国家森林公园进行全面调查的基础上,借鉴国内外相关研究成果,从公园总体、景区及景点三个层次对东平森林公园的旅游资源进行了综合评价。评价结果表明:东平森林公园
以长沙市三汊矶大桥主桥钢箱梁顶推施工为工程背景,研究了顶推钢箱梁施工中拼接线形控制体系的构成,阐述了线形控制的原理和方法,并对影响钢箱梁拼接线形的因素作了分析,给出