论文部分内容阅读
[摘 要]在这个大数据的发展潮流下，为促进地质数据的综合开发利用，服务社会各行各业，地质大数据中心的建设需求越来越迫切，本文对地质大数据中心的建设进行可行性探讨。
[关键词]地质大数据；数据中心；建设
中图分类号：P621 文献标识码：A 文章编号：1009-914X（2017）17-0098-02
地质矿产勘查部门经营几十年沉淀下海量的各类地学数据，由于缺乏有效的管理和综合开发利用，大部分依然埋存在数据坟墓中，以至无法创造附加价值。如何盘活这些数据资源，将沉淀的数据资源价值最大化，是一个面临的重大考验。引入云计算、大数据等新一代信息技术，建设地质大数据中心，从而实现地质数据智慧化服务和管理的新模式，为地质数据资源综合开发利用提供基础保障。
1 地质大数据中心发展趋势
随着地质调查信息化水平的提高，地质大数据时代到来的步伐不断加快，在大数据时代背景下，地质资料的管理、开发利用以及社会服务也将发生变化，与传统的资料存储相比，大数据时代下的地质资料数据具有载体形式多、数据格式多、信息量庞大的特点，给数据资料管理存储与应用服务带来了新的挑战，如何有效保存、快速发现和获取成为重要课题，建立具有高性能、容灾备份能力的数据中心成为了当今地质大数据时代信息化和数字化的必然要求[1]。
2 地质数据化管理现状
地质数据化管理化建设已经开展多年，但目前依然局限于解决某个部门某个项目的诉求上，处于比较落后阶段。没有统一的信息化管理平台，没有集中管理的数据存储中心。各类地学数据无法统一存储管理、数据安全管理缺失、信息安全管控能力薄弱、系统容灾性极差的尴尬局面。据公开数据显示，当前已经建设完成涵盖基础地质数据、地质矿产数据、物化遥数据、水工环数据等多专业的地学数据库。但这些数据库的建设方式大多数是简单地利GIS系统和数据库系统来装载数据，很少做数据层面的资源整合和以需求为主导的二次开发。不同专业属性的数据不能互相构建互通，造成信息资源分散，共享和统一的程度不高。
3 地质大数据中心建设现实需求分析
以存储、管理、开发利用地质数据为主题的大数据中心，是地质行业信息化建设的大放向，以数据为核心，连接各类地质业务平台，可以促进地质数据共享，有效地提高数据资源的利用率，这将成为地质数据资源转换为地质数据资产必备条件。
解决海量地學数据的存储和各类应用系统的整合部署，是目前地质大数据中心建设的迫切需求。海量数据的存储需求主要以各类项目和应用系统的需求为主导，项目包括已经完成、正在实施、计划开展的项目。以对基础地质、矿产地质、农业地质、矿山环境、地质灾害、旅游地质等的专业数据评估，都以矢量数据、栅格数据、文本数据、表格等为主，所产生的数据都属于PB级的数据量。为有效对这些海量数据进行采集、存储、管理和深度挖掘，以充分利用数据资源，地质大数据中心建设成为了未来发展的必然趋势。
4 地质大数据中心建设目标和原则
以地质数据生产、存储、管理、开发、利用为主线，采取统一、分步、集中、共享的建设方针，逐步构建地质大数据中心为目标。
统一：对数据中心化建设进行统一标准、统一规划、统一筹备、统一部署、统一管理。避免各个业务部门、地勘单位各自为营的建设。
分步：设备会贬值，技术会过时，数据中心建设是一个长期工程，不可能一步建设到位，必须根据规划，依据实际需求进行分步建设，逐步向目标推进。
集中：数据中心的硬件资源、软件资源、网络资源进行集中采购、集中部署、集中管理。避免重復投入形成的资源浪费，便于软硬件资源的维护，同时强化信息安全的管理。
共享：地勘单位共享硬件资源、软件资源、网络资源，各类资源由管理部门统一调度，各个地勘单位原则上不再投入建设相关的设施。
数据中心的建设必须理清现状，明确需求，以资源整合、充分利旧、合理升级为建设原则。
资源整合：对硬件资源、软件资源、网络资源进行分析、评估、整合，各类资源能用就用，统筹部署、合理共享，提高资源利用率。
充分利旧：充分利用现有基础设施资源，可以改建为同城灾备中心和涉密数据机房。
合理升级：运营多年的业务系统，设施可能已经落后，并且多年沉淀下来的数据，已属于海量数据。原则上在利旧的前提下，新数据中心机房的建设，在不影响现有数据存储、业务系统运营的情况下，合理升级数据的存储方案和业务系统的运营策略等。
5 地质大数据中心总体方案描述
数据中心建设的指导思想是：坚持整体规划、分布实施、统一标准、整体协调、整合发展、资源共享的原则，以网络为基础、应用为重点、信息资源开发利用为核心，建立一个高可靠、大容量、安全的数据中心。依据建设目标，以业务应用为驱动，切合实际数据存储规模需求作为建设切入点打造全新的地质模块化数据中心。数据中心的建设涉及到硬件资源的整合、软件资源的整合、网络资源的整合、业务应用系统功能整合、各类数据库的整合，每个环节都需从管理、应用、服务等诸多方面多角度全方位的考虑，并拟出技术方案方可实施。
1）地质大数据中心应用架构
对各类地质数据进行全面梳理、分析，整合现有的数据资源，构建完整、规范、统一的数据存储中心，集中存储，打破部门边界，实现资源的有效共享，为今后业务系统建设奠定基础（图1）。
2）地质大数据中心网络架构
数据中心的网络构架必须统筹局域网内部署，同时协调已有的各业务系统之间的运营需求，使这些已有的系统运行、真正投入使用，实现这些业务系统与下属地勘单位互联互通，进行项目实时动态管理。而这些系统运转的前提是数据中心机房的建设，需要大力的设备、人力、物力、财力的支撑，时间持续也很长久（图2）。 3）确立数据中心平台
构建一套基于软件定义的云存储平台，在标准硬件上构建一套系统满足文件存储及对象存储资源的诉求，并能实现存储资源的按需自動化发放。不同类型存储分别为不同业务按需提供存储资源。
文件存储服务：提供NFS、CIFS、FTP和HDFS等标准接口，以卓越性能、大规模横向扩展能力和超大单一文件系统为用户提供非结构化数据共享存储资源，应用于视频/音频海量存储、大数据应用等场景。
对象存储服务：兼容Amazon S3与OpenStack Swift，支持融入主流云计算生态，满足云备份、云归档、IoT及云存储服务运营场景需求。
通过存储系统软件将标准硬件的本地存储资源组织起来，构建全分布式存储池，实现一套存储系统向上层应用提供块、文件和对象三种存储资源服务，满足结构化、非结构化和半结构化等多类型数据存取对IOPS、带宽及海量扩展需求；提供快照、精简配置、远程复制、多租户等丰富的企業级数据服务特性，帮助企业轻松应对业务快速变化时的数据灵活、可靠存取需求。同时，提供基于标准接口协议的开放API，天然融入OpenStack云基础架构及Hadoop大数据生态[2]。
4）容量规划
根据实际数据存储的容量需求，总体配置1540TB裸容量，满足1PB可用容量需求，分布式存储系统最大可达到4096节点，200PB容量，本期配备11个节点，兼容未来5年内数据增长对存储容量的冗余需求。
5）存储网络拓扑
存储的组网架构包括管理网络、前端业务网络和后端存储网络。管理网络用于云存储系统与用户维护网络对接，为系统管理员提供管理UI，完成系统配置、租户管理、资源管理、服务发放等业务操作，以及告警/性能/拓扑等维护操作。同时可以汇聚所有物理节点的Mgmt接口，提供远程设备维护能力，如远程登录设备虚拟KVM、查看温度、电压等硬件运行数据等。前端业务网络用于云存储系统与用户网络对接，为租户用户提供租户UI，完成资源申请、使用情况查询等操作，并处理租户客户端或API发送的业务请求。
后端存储网络用于云存储节点间内部互联，提供HA（High Availability）组件如DSS（Data Service SubSystem）的心跳通信，以及各组件之间的内部通信和数据交互（图3）。
6）地质大数据中心建设阶段规划
数据中心建设是一个中长期建设的过程，可按数据存储中心、数据处理中心、数据应用中心、数据运营服务中心五个阶段逐步实施（图4）。
6 地质大数据中心建设模式
地质大数据中心工程可以考虑参其它单位的模块化数据机房建设模式：系统运营商投资建设，应用单位购买服务。
由于项目建设初期资金投入大、运营周期长、维护难度大，为了降低项目建设初期资金筹措风险以及后期运行维护压力，可借鉴目前硬件商推荐的“系统运营商投资建设，政府购买服务”。
该方案的优点在于：在系统运营服务期内，政府只需要按年向中标的系统运营商支付系统建设运营服务费即可，大大降低财政资金压力；同时，不需要再成立专门的平台维护机构，专注于业务处理，提高行政效率。
7 结束语
在国家大数据互联网建设的背景，针对目前地质数据存储、管理存在的问题和安全隐患提出，为了保障数据安全，建立地质大数据中心，挖掘深层数据信息，提高办公效率，解决存在的隐患问题。通过对数据中心构建的可行性分析认为是可行的，地质大数据中心的构建推动地质大数据挖掘、综合利用，促进地质数据资源服务全行业的积极作用。
参考文献：
[1]《地质大数据分析与应用模式研究》李朝奎、严雯英、肖克炎
[2]《Openstack Swift 原理、架构与 API 介绍》张华
[关键词]地质大数据；数据中心；建设
中图分类号：P621 文献标识码：A 文章编号：1009-914X（2017）17-0098-02
地质矿产勘查部门经营几十年沉淀下海量的各类地学数据，由于缺乏有效的管理和综合开发利用，大部分依然埋存在数据坟墓中，以至无法创造附加价值。如何盘活这些数据资源，将沉淀的数据资源价值最大化，是一个面临的重大考验。引入云计算、大数据等新一代信息技术，建设地质大数据中心，从而实现地质数据智慧化服务和管理的新模式，为地质数据资源综合开发利用提供基础保障。
1 地质大数据中心发展趋势
随着地质调查信息化水平的提高，地质大数据时代到来的步伐不断加快，在大数据时代背景下，地质资料的管理、开发利用以及社会服务也将发生变化，与传统的资料存储相比，大数据时代下的地质资料数据具有载体形式多、数据格式多、信息量庞大的特点，给数据资料管理存储与应用服务带来了新的挑战，如何有效保存、快速发现和获取成为重要课题，建立具有高性能、容灾备份能力的数据中心成为了当今地质大数据时代信息化和数字化的必然要求[1]。
2 地质数据化管理现状
地质数据化管理化建设已经开展多年，但目前依然局限于解决某个部门某个项目的诉求上，处于比较落后阶段。没有统一的信息化管理平台，没有集中管理的数据存储中心。各类地学数据无法统一存储管理、数据安全管理缺失、信息安全管控能力薄弱、系统容灾性极差的尴尬局面。据公开数据显示，当前已经建设完成涵盖基础地质数据、地质矿产数据、物化遥数据、水工环数据等多专业的地学数据库。但这些数据库的建设方式大多数是简单地利GIS系统和数据库系统来装载数据，很少做数据层面的资源整合和以需求为主导的二次开发。不同专业属性的数据不能互相构建互通，造成信息资源分散，共享和统一的程度不高。
3 地质大数据中心建设现实需求分析
以存储、管理、开发利用地质数据为主题的大数据中心，是地质行业信息化建设的大放向，以数据为核心，连接各类地质业务平台，可以促进地质数据共享，有效地提高数据资源的利用率，这将成为地质数据资源转换为地质数据资产必备条件。
解决海量地學数据的存储和各类应用系统的整合部署，是目前地质大数据中心建设的迫切需求。海量数据的存储需求主要以各类项目和应用系统的需求为主导，项目包括已经完成、正在实施、计划开展的项目。以对基础地质、矿产地质、农业地质、矿山环境、地质灾害、旅游地质等的专业数据评估，都以矢量数据、栅格数据、文本数据、表格等为主，所产生的数据都属于PB级的数据量。为有效对这些海量数据进行采集、存储、管理和深度挖掘，以充分利用数据资源，地质大数据中心建设成为了未来发展的必然趋势。
4 地质大数据中心建设目标和原则
以地质数据生产、存储、管理、开发、利用为主线，采取统一、分步、集中、共享的建设方针，逐步构建地质大数据中心为目标。
统一：对数据中心化建设进行统一标准、统一规划、统一筹备、统一部署、统一管理。避免各个业务部门、地勘单位各自为营的建设。
分步：设备会贬值，技术会过时，数据中心建设是一个长期工程，不可能一步建设到位，必须根据规划，依据实际需求进行分步建设，逐步向目标推进。
集中：数据中心的硬件资源、软件资源、网络资源进行集中采购、集中部署、集中管理。避免重復投入形成的资源浪费，便于软硬件资源的维护，同时强化信息安全的管理。
共享：地勘单位共享硬件资源、软件资源、网络资源，各类资源由管理部门统一调度，各个地勘单位原则上不再投入建设相关的设施。
数据中心的建设必须理清现状，明确需求，以资源整合、充分利旧、合理升级为建设原则。
资源整合：对硬件资源、软件资源、网络资源进行分析、评估、整合，各类资源能用就用，统筹部署、合理共享，提高资源利用率。
充分利旧：充分利用现有基础设施资源，可以改建为同城灾备中心和涉密数据机房。
合理升级：运营多年的业务系统，设施可能已经落后，并且多年沉淀下来的数据，已属于海量数据。原则上在利旧的前提下，新数据中心机房的建设，在不影响现有数据存储、业务系统运营的情况下，合理升级数据的存储方案和业务系统的运营策略等。
5 地质大数据中心总体方案描述
数据中心建设的指导思想是：坚持整体规划、分布实施、统一标准、整体协调、整合发展、资源共享的原则，以网络为基础、应用为重点、信息资源开发利用为核心，建立一个高可靠、大容量、安全的数据中心。依据建设目标，以业务应用为驱动，切合实际数据存储规模需求作为建设切入点打造全新的地质模块化数据中心。数据中心的建设涉及到硬件资源的整合、软件资源的整合、网络资源的整合、业务应用系统功能整合、各类数据库的整合，每个环节都需从管理、应用、服务等诸多方面多角度全方位的考虑，并拟出技术方案方可实施。
1）地质大数据中心应用架构
对各类地质数据进行全面梳理、分析，整合现有的数据资源，构建完整、规范、统一的数据存储中心，集中存储，打破部门边界，实现资源的有效共享，为今后业务系统建设奠定基础（图1）。
2）地质大数据中心网络架构
数据中心的网络构架必须统筹局域网内部署，同时协调已有的各业务系统之间的运营需求，使这些已有的系统运行、真正投入使用，实现这些业务系统与下属地勘单位互联互通，进行项目实时动态管理。而这些系统运转的前提是数据中心机房的建设，需要大力的设备、人力、物力、财力的支撑，时间持续也很长久（图2）。 3）确立数据中心平台
构建一套基于软件定义的云存储平台，在标准硬件上构建一套系统满足文件存储及对象存储资源的诉求，并能实现存储资源的按需自動化发放。不同类型存储分别为不同业务按需提供存储资源。
文件存储服务：提供NFS、CIFS、FTP和HDFS等标准接口，以卓越性能、大规模横向扩展能力和超大单一文件系统为用户提供非结构化数据共享存储资源，应用于视频/音频海量存储、大数据应用等场景。
对象存储服务：兼容Amazon S3与OpenStack Swift，支持融入主流云计算生态，满足云备份、云归档、IoT及云存储服务运营场景需求。
通过存储系统软件将标准硬件的本地存储资源组织起来，构建全分布式存储池，实现一套存储系统向上层应用提供块、文件和对象三种存储资源服务，满足结构化、非结构化和半结构化等多类型数据存取对IOPS、带宽及海量扩展需求；提供快照、精简配置、远程复制、多租户等丰富的企業级数据服务特性，帮助企业轻松应对业务快速变化时的数据灵活、可靠存取需求。同时，提供基于标准接口协议的开放API，天然融入OpenStack云基础架构及Hadoop大数据生态[2]。
4）容量规划
根据实际数据存储的容量需求，总体配置1540TB裸容量，满足1PB可用容量需求，分布式存储系统最大可达到4096节点，200PB容量，本期配备11个节点，兼容未来5年内数据增长对存储容量的冗余需求。
5）存储网络拓扑
存储的组网架构包括管理网络、前端业务网络和后端存储网络。管理网络用于云存储系统与用户维护网络对接，为系统管理员提供管理UI，完成系统配置、租户管理、资源管理、服务发放等业务操作，以及告警/性能/拓扑等维护操作。同时可以汇聚所有物理节点的Mgmt接口，提供远程设备维护能力，如远程登录设备虚拟KVM、查看温度、电压等硬件运行数据等。前端业务网络用于云存储系统与用户网络对接，为租户用户提供租户UI，完成资源申请、使用情况查询等操作，并处理租户客户端或API发送的业务请求。
后端存储网络用于云存储节点间内部互联，提供HA（High Availability）组件如DSS（Data Service SubSystem）的心跳通信，以及各组件之间的内部通信和数据交互（图3）。
6）地质大数据中心建设阶段规划
数据中心建设是一个中长期建设的过程，可按数据存储中心、数据处理中心、数据应用中心、数据运营服务中心五个阶段逐步实施（图4）。
6 地质大数据中心建设模式
地质大数据中心工程可以考虑参其它单位的模块化数据机房建设模式：系统运营商投资建设，应用单位购买服务。
由于项目建设初期资金投入大、运营周期长、维护难度大，为了降低项目建设初期资金筹措风险以及后期运行维护压力，可借鉴目前硬件商推荐的“系统运营商投资建设，政府购买服务”。
该方案的优点在于：在系统运营服务期内，政府只需要按年向中标的系统运营商支付系统建设运营服务费即可，大大降低财政资金压力；同时，不需要再成立专门的平台维护机构，专注于业务处理，提高行政效率。
7 结束语
在国家大数据互联网建设的背景，针对目前地质数据存储、管理存在的问题和安全隐患提出，为了保障数据安全，建立地质大数据中心，挖掘深层数据信息，提高办公效率，解决存在的隐患问题。通过对数据中心构建的可行性分析认为是可行的，地质大数据中心的构建推动地质大数据挖掘、综合利用，促进地质数据资源服务全行业的积极作用。
参考文献：
[1]《地质大数据分析与应用模式研究》李朝奎、严雯英、肖克炎
[2]《Openstack Swift 原理、架构与 API 介绍》张华