论文部分内容阅读
随着信息化程度的提高,许多行业如通讯、水利、测绘、金融、气象等,都需要处理动辄上百GB甚至TB级的超大规模数据,而且规模还在以指数形式飞快增长,这些就是海量数据。海量数据的有效管理和快速访问是当今的一个热点问题。目前海量数据服务主要有两种建设方案:一种是集中式,即采用单台高性能服务器对海量数据进行统一管理,统一为用户提供服务,该方案结构简单,易于部署实施,但是单台服务器的服务性能总有上限,而且系统成本是非线性增长的,不易于扩展。另一种是分布式,即采用多台普通服务器部署来管理海量数据,分担多用户并发请求,该方案的最大优势是可以根据实际性能需求对系统资源进行动态配置,通过负载均衡技术避免负载过重造成的系统瘫痪,而且成本相对较低,适用性更强。海洋地图数据也具有海量的特点。以我国的海洋环境信息为例,其数据量就高达300GB以上。海量海洋地图数据的服务发布是数字海洋信息基础框架中的一个关键问题。本文在ArcGIS Server 9.2基础上提出了一种双分布式解决方案:地图数据引擎和地图服务发布都采用分布式。一方面地图数据引擎采用分布式,不仅可以满足海洋地图数据存储量大的要求,而且可以分担地图数据提取任务,减轻磁盘IO压力,为数据的快速检索和快速提取提供保证;另一方面地图服务发布也采用分布式,通过建立地图服务发布服务器之间的管理调度机制,实现负载均衡,同时还使用了连接池技术和数据缓存技术。大量测试结果表明,本方案可以缩短多用户并发时请求响应时间,充分利用系统资源,降低服务器端负担,避免系统宕机瘫痪。另外,我国海洋数据主要存储在国家海洋局及其各研究中心,地理上就是分布的,结合这个特点,海量海洋数据服务的双分布式架构也更加实际可行。