论文部分内容阅读
全球遥感事业的不断发展、地学科学数据的累积不断增多甚至每天可以获得数以TB、PB的地学数据,一方面海量数据的拥有者需要耗费大量的人力物力财力管理和处理海量的地学数据,另一方面科学工作者又苦于寻找适合自身科学研究的地学数据。各国考虑到遥感数据供需矛盾,纷纷提出数据共享政策以及建立了多个大型数据汇聚共享平台,目前绝大多数地学数据汇聚与共享平台所提供的遥感数据资源均来自于本单位接收的数据或者是合作单位提供的数据资源信息,最终实现的是合约分布式数据源的共享建设。尚未考虑到网络当中存在的大量的免费公开有价值的非合约形式的遥感数据源,这些数据源具有网页查询入口、海量遥感数据隐藏在网络后台的大型数据库且数据共享平台多样不同种类空间数据平台难以互联等特点,难以利用传统的遥感技术实现数据汇聚和共享,如何能够整合非合约分布式异构多源空间数据平台遥感资源,实现大型数据仓储平台信息互联,是本文研究的重点。 为了解决非合约分布式异构空间数据源被动式汇聚和异步更新问题,本文详细调研了国内外的数据汇聚和共享的关键技术点以及互联网搜索引擎等技术,提出了一种基于暗网爬虫架构的非合约异构分布式数据源被动汇聚架构。另外由于数据共享平台具有分布性和技术标准不一致的特点,文中设计出一套数据源识别标准、非合约式数据源发现机制、非合约式数据源搜索条件树构建模式、非合约式数据源索引机制以及数据源异步更新规则,并进行了详细的设计与实现,形成了空间数据资源自动化汇聚和更新工具集。最终,用户可以通过统一的查询界面获取非合约异构分布式遥感数据源资源信息。 本文将以上成果成功应用于863项目——基于星机地立体组网协同观测项目,成功汇集了5个大型数据共享系统数据源,其中NASA、USGS、ASAR3个国际上使用较为广泛的运行性数据源,并分布在国际上不同的网络域。因而,本文的研究内容已被验证具有正确性和实用性,取得了研究预期的成果。