论文部分内容阅读
随着对地观测技术的不断发展,数据中心存档的数据量也日益增长。对地观测数据的海量性和复杂性给如何更好地运用对地观测数据来为社会和大众服务带来了挑战。一方面由于不同数据中心采用不同的发布方式和元数据信息模型来分发其存档对地观测数据,这种数据发现层面的异构性就需要用户与多个数据中心交互,熟悉其数据分发接口来发现数据;另一方面由于对地观测数据具有高度异构性,要求用户必须对目标数据格式有充分的了解后才能进一步处理数据,这就限制了数据资源访问层面的互操作。此外在网络环境下,数据经过一系列网络服务的处理后,其演化过程的信息集合,即数据志内容也难以得到完整的体现,用户在缺乏数据志信息的情况下,就很难对数据的可用性以及可靠性做出合理的判断。因此在网络环境下,实现一站式的联邦目录服务系统来发现数据,并对异构数据提供标准化处理的接口,是提高对地观测数据应用水平的重要前提,而元数据的表达,尤其是数据志信息的完备程度,则是增强对地观测数据质量水平的重要保障。本文研究是基于OGC和ISO的相关标准作为基础,OGC为解决对地观测领域数据共享与互操作的问题制订了一系列的标准和规范。其中网络目录服务CSW可用于发布、检索和管理关于对地观测数据、服务和相关资源的元数据,CSW的设计架构具有高度规范性和通用性,并支持元数据模型的扩展。基于CSW标准的接口,用户可以用规范化的查询语言来从CSW服务的数据中心发现和获取数据;并且在多个CSW的基础上构建一个目录联邦系统,进而实现向数据用户提供一个集成的数据发现接口来从多个分布式的数据中心去查询和发现对地观测数据。在对地观测影像数据定制处理方面,OGC网络覆盖服务WCS则提供了一个标准化的数据定制处理接口,用户可以基于WCS对数据进行投影转换、格式转换、空间切分等相关操作。本文综合分析了当前几种对地观测数据的元数据标准,提出采用ISO 19115元数据标准作为数据集成发现和标准化定制处理的元数据模型,并重点分析了数据志信息的意义及实现框架;进而研究了如何针对现有数据中心增强其数据发现的开放性。重点建设了包括美国NASA、NOAA以及GMU CSISS等数据中心在内的网络目录服务的实现;针对多个对地观测数据中心,本文构建了一站式联邦目录服务系统,使得用户通过单一标准化的数据发现接口从多个数据中心发现数据,并采用ISO 19115元数据标准来描述本文所研究数据中心的存档对地观测数据,从而解决了数据发现层面的异构性问题;继而在详细分析对地观测数据异构性及复杂性的基础上,本文扩展了现有的地理空间数据抽象模型,使其增强对元数据尤其是数据志信息的支持,并基于该扩展了设计了对地观测数据标准化处理框架,继而在此框架下实现了OGC网络覆盖服务。最后构建了一站式数据发现与标准化处理系统。本文的主要研究工作包括以下几点:1.增强现有对地观测数据中心数据发现的开放性本文主要研究了美国NASA, USGS, GMU等对地观测数据中心,这些数据中心由于采用了不同的查询接口,导致了数据发现层面的异构性。本文提出采用OGC网络目录服务来增强其数据分发功能的开发性,并重点解决了数据发现过程中元数据查询语言异构的和元数据标准互操作的关键问题。本文针对所研究的对地观测数据中心,分别设计和构建了更加具有规范性和开放性的数据发现系统。2.面向多个数据中心建立一站式目录联邦服务系统在对单个数据中心借助网络目录服务来增加其开放性的基础上,重点研究了如何对多个对地观测数据中心实现一站式的目录联邦服务系统。本文提出了采用Mediator/Wrapper架构,设计不同的查询任务分派方式,建立了对全球主要对地观测数据资源的一站式的数据集成发现系统。研究了如何应用ISO 19115地理信息元数据标准来描述不同对地观测数据中心的存档数据。结合CWIC目录集成系统的实现案例,分析了构建对地观测数据一站式目录联邦服务系统的架构和关键技术。3.对地观测影像数据的标准化定制处理在对常见的对地观测数据的复杂性以及异构性分析的基础上,本文提出选用GDAL抽象数据模型作为对地观测数据标准化处理的基础,并重点对其扩展以增加对ISO19115元数据标准尤其是数据志信息的支持。研究如何构建异构对地观测数据处理的框架,并实现具有标准化处理接口的OGC网络覆盖服务,该服务以规范化接口处理多种异构对地观测数据,向数据用户提供了诸如投影转换、格式转换等数据定制操作的接口,并同时提供相应的元数据信息,并将相关处理过程的信息记录到数据志中。4.数据发现与标准化处理系统的实现研究本文基于一站式目录联邦系统和数据标准化处理框架,建立了一站式服务系统。该系统能够从多个分布式数据中心查找和发现其存档的对地观测数据,并同时对获取到的影像数据进行标准化的定制处理。本文的主要创新工作可以概括为以下几点:1.提升对地观测数据中心数据发现的开放性,构建全球对地观测数据一站式目录联邦服务系统。国际上几个重要的对地观测数据中心由于各自都采用了不同的元数据目录系统和数据发布方式,使得数据发现层面上存在异构性。本文基于对每种数据中心数据发布方式特点的分析,通过构建标准化的服务接口来增强其数据发现的开放性,重点解决了各目录系统接口异构、元数据模型异构的问题;本文提出了对多数据中心存档数据一站式服务的模式,建立了全球对地观测数据一站式目录服务联邦系统,该系统在国际对地观测数据发现领域已经得到普遍的应用。2.建立了异构对地观测影像数据的标准化处理框架。不同的对地观测数据产品一般具有不同的投影格式等属性,使得数据访问层面上存在异构性。而现有的对地观测数据中心只提供对原始存档数据的访问,而不提供数据定制相关的服务。为了增强数据访问的互操作性,本文主要针对影像数据,扩展了现有的地理空间数据抽象模型,增加了对元数据尤其是数据志信息的支持。本文设计了对地观测数据标准化处理的框架,并在此框架下实现了OGC网络覆盖服务,该服务能以标准化的服务接口来定制处理多种高度异构的对地观测影像数据,同时记录了数据处理过程中的数据志信息。3.基于面向服务的体系架构(SOA)建立了一站式服务的数据发现与标准化处理系统,并提出虚拟Coverage的概念以优化数据定制处理流程。本文基于SOA架构设计和实现了具有对地观测发现与异构数据标准化处理功能的一站式服务系统,该系统具有强大的灵活性、松散耦合性和重用性。对于存档于分布式数据中心的影像数据,本文提出了虚拟Coverage的概念,在远程数据没有缓存之前,通过Coverage模板库构造其数据定制界面,将耗时较长的数据下载和具体定制任务集中到任务提交之后,从而完善数据处理流程,提升用户体验。该系统从2008年开始稳定运行至今,有着众多的数据用户和下载流量,在对地观测数据共享和互操作领域具有重要的影响。总体上,本文具有很强的综合性、技术性和应用性,研究领域涉及到对地观测科学、网络服务、地理信息共享与互操作领域的最新的理论与方法。