论文部分内容阅读
摘 要：企业大数据建设的关注点开始从基础设施转向以应用牵引的运营、使能、平台化方向转移应用。本文主要从IT基础架构、智能分析软件等方面全方位进行考量，分析总结了大数据总体技术架构设计原则，并提出了大数据基础平台解决方案，最后对大数据基础机构技术发展进行了总结。
关键词： 大数据；IT基础架构
0引言
随着互联网、物联网、云计算、三网融合等通信新技术的迅速发展，数据规模大、类型多样、生成快速，越来越多企业将大数据作为新的发展机遇。然而，大数据也为企业IT带来新的挑战，基础架构是其中最为关键的一环，大数据在带来机会的同时，也带来挑战。
1大数据总体技术架构设计
目前，国内企业的大数据应用大部分仍处于规模化部署运营初期，基础平台的建设运营包括硬件架构设计、软件平台规划、资源的共享与各类接口的规范制定。构建适合大数据整合基础架构需遵循以下原则进行规划设计。
1.1可用性
数据中心最终目的是要满足上层业务的高效可靠运行，因此在构建数据中心过程中需要保障业务的可用性。为满足这一要求，在设计过程中可以考虑如下几点：
基础设施的高可用：基础设施层的可用性体现在计算资源、存储资源和网络资源的高可用。基础设施层通过交换机的堆叠技术，存储RAID等多种方案保障高可用。
应用的高可用：在业务技术方案中要考虑高可用性，不出现单点失效问题。
容灾备份能力：通过数据备份保障主数据丢失时可以快速恢复数据；通过建设关键应用的容灾系统，保障在灾难发生时实现业务的可用性，快速恢复关键应用的运行。
1.2安全性
主要包括网络安全、数据安全、接入安全、主机安全、身份安全和安全管理。安全体系的建设是通过技术手段和管理手的。
1.3开放性
建设中也需要特别注意采用开放的平台和方案，主要体现在如下几点：
异构原则：总体方案的各层应支持异构平台和不同的供应商。
利旧原则：在基础设施层应支持设备利旧，利用原有的设备来构建警务云数据中心，在资源池中支持不同供应商的服务器，存储，网络设备。
开放的接口：基础设施层、虚拟化层、平台服务、运维系统等各层都应该提供开放的接口，便于和第三方系统对接或者基于这些接口来进一步构建新的业务。
1.4扩展性
随着业务的不断增长，数据中心的计算、存储能力必然会出现无法满足业务需求的情况。当数据中心计算能力不足时，能够采用增加计算资源的方式扩容，无需对运行的应用停机就能够增加应用的处理能力，实现计算能力扩展。
2大数据基础平台解决方案
基础平台目的在于提供集约管理和池化运营的基础能力，实现软硬件资源的共享和快速提供，为大数据应用提供高效和灵活的基础平台。根据当前主流的大数据技术架构，基础平台可划分如下7个功能层面，为各类大数据应用提供共享的基础服务。
大数据采集和整合，解决传统烟囱式IT系统间重复采集、存储分散、建设成本高等问题。提供能力：提供数据集成与治理服务，能有效的对原来信息架构，多种数据源进行整合与治理，对数据的统一采集、存储和统一管理，最终实现数据拉通共享，从而降低成本。
大数据基础设施，解决传统企业级数据库只能支持结构化数据，无法支撑非结构化和半结构化数据的存储问题。提供能力：提供数据融合、企业级信息架构治理、基础设施集成交付服务，提供工具如内存分析DB、DWH、MPP DB、Hadoop、数据管理等，有效支撑各类混合数据，最终为实现行业的穿越、数据的关联和技术的混搭奠定了基础。
企业知识引擎，客户知识库（标签、分群等）、产品知识库、商业知识库和渠道知识库建设，同时包含互联网分析、位置分析，弥补现有业务系统（如Campaign）大数据洞察能力的不足。提供能力：提供数据分析和业务建模服务，构建主要的知识库体系如客户知识库（CKM）、产品知识库（PKM）、商业知识库（BKM）。
实时决策支持中心，提升企业的响应能力，解决企业实时决策闭环能力不足。由于涉及到复杂的周边系统集成，只有在应用集成架构和信息集成架构比较成熟的运营商才有可能实施。用于固化各种可自动化执行的策略和决策。提供能力：提供了数据分析建模和实时规则建模等服务，通过利用离线的大数据知识分析与洞察和实时事件信息进行综合的决策。
增强BI，为整体信息架构和IT架构相关成熟的企業，解决处理能力不足的问题，以有效地支持业务发展。提供能力：提供数据探索、数据集成定制服务，在原有BI基础上，提升数据处理能力，降低数据处理单位成本，更好地支撑运营商的战略发展和运营。
客户智能，为满足运营商在MBB和数字业务转型的需要，提升ARPU从而提升总收入。提供能力：提供业务分析和业务建模，通过精准化的市场营销、实时运维洞察、提升客户体验、客户维系等手段，扩大用户的生命周期和减少离网率，最终实现收入的稳步提升。
数据变现，运营商寻找业务突破点，探索新的商业模式和数据隐私、安全方面的实践。提供能力：提供如智慧交通、店面选址、店面经营等服务，并可提供辅助运营服务。通过数据变现，帮助运营商从传统Scale-Up模型向Scale-Out转变的一种产品形态。
3结束语
大数据建设成功的重要开端就是打造一个适合大数据整合的基础架构，聚焦大数据采集与整合和大数据基础设施的解决方案，同时，站在大数据行业的未来发展趋势的判断，企业知识引擎和客户智能将实现客户精确营销。未来在对大数据的不断探索研究下，大数据必将带来更多价值。
关键词： 大数据；IT基础架构
0引言
随着互联网、物联网、云计算、三网融合等通信新技术的迅速发展，数据规模大、类型多样、生成快速，越来越多企业将大数据作为新的发展机遇。然而，大数据也为企业IT带来新的挑战，基础架构是其中最为关键的一环，大数据在带来机会的同时，也带来挑战。
1大数据总体技术架构设计
目前，国内企业的大数据应用大部分仍处于规模化部署运营初期，基础平台的建设运营包括硬件架构设计、软件平台规划、资源的共享与各类接口的规范制定。构建适合大数据整合基础架构需遵循以下原则进行规划设计。
1.1可用性
数据中心最终目的是要满足上层业务的高效可靠运行，因此在构建数据中心过程中需要保障业务的可用性。为满足这一要求，在设计过程中可以考虑如下几点：
基础设施的高可用：基础设施层的可用性体现在计算资源、存储资源和网络资源的高可用。基础设施层通过交换机的堆叠技术，存储RAID等多种方案保障高可用。
应用的高可用：在业务技术方案中要考虑高可用性，不出现单点失效问题。
容灾备份能力：通过数据备份保障主数据丢失时可以快速恢复数据；通过建设关键应用的容灾系统，保障在灾难发生时实现业务的可用性，快速恢复关键应用的运行。
1.2安全性
主要包括网络安全、数据安全、接入安全、主机安全、身份安全和安全管理。安全体系的建设是通过技术手段和管理手的。
1.3开放性
建设中也需要特别注意采用开放的平台和方案，主要体现在如下几点：
异构原则：总体方案的各层应支持异构平台和不同的供应商。
利旧原则：在基础设施层应支持设备利旧，利用原有的设备来构建警务云数据中心，在资源池中支持不同供应商的服务器，存储，网络设备。
开放的接口：基础设施层、虚拟化层、平台服务、运维系统等各层都应该提供开放的接口，便于和第三方系统对接或者基于这些接口来进一步构建新的业务。
1.4扩展性
随着业务的不断增长，数据中心的计算、存储能力必然会出现无法满足业务需求的情况。当数据中心计算能力不足时，能够采用增加计算资源的方式扩容，无需对运行的应用停机就能够增加应用的处理能力，实现计算能力扩展。
2大数据基础平台解决方案
基础平台目的在于提供集约管理和池化运营的基础能力，实现软硬件资源的共享和快速提供，为大数据应用提供高效和灵活的基础平台。根据当前主流的大数据技术架构，基础平台可划分如下7个功能层面，为各类大数据应用提供共享的基础服务。
大数据采集和整合，解决传统烟囱式IT系统间重复采集、存储分散、建设成本高等问题。提供能力：提供数据集成与治理服务，能有效的对原来信息架构，多种数据源进行整合与治理，对数据的统一采集、存储和统一管理，最终实现数据拉通共享，从而降低成本。
大数据基础设施，解决传统企业级数据库只能支持结构化数据，无法支撑非结构化和半结构化数据的存储问题。提供能力：提供数据融合、企业级信息架构治理、基础设施集成交付服务，提供工具如内存分析DB、DWH、MPP DB、Hadoop、数据管理等，有效支撑各类混合数据，最终为实现行业的穿越、数据的关联和技术的混搭奠定了基础。
企业知识引擎，客户知识库（标签、分群等）、产品知识库、商业知识库和渠道知识库建设，同时包含互联网分析、位置分析，弥补现有业务系统（如Campaign）大数据洞察能力的不足。提供能力：提供数据分析和业务建模服务，构建主要的知识库体系如客户知识库（CKM）、产品知识库（PKM）、商业知识库（BKM）。
实时决策支持中心，提升企业的响应能力，解决企业实时决策闭环能力不足。由于涉及到复杂的周边系统集成，只有在应用集成架构和信息集成架构比较成熟的运营商才有可能实施。用于固化各种可自动化执行的策略和决策。提供能力：提供了数据分析建模和实时规则建模等服务，通过利用离线的大数据知识分析与洞察和实时事件信息进行综合的决策。
增强BI，为整体信息架构和IT架构相关成熟的企業，解决处理能力不足的问题，以有效地支持业务发展。提供能力：提供数据探索、数据集成定制服务，在原有BI基础上，提升数据处理能力，降低数据处理单位成本，更好地支撑运营商的战略发展和运营。
客户智能，为满足运营商在MBB和数字业务转型的需要，提升ARPU从而提升总收入。提供能力：提供业务分析和业务建模，通过精准化的市场营销、实时运维洞察、提升客户体验、客户维系等手段，扩大用户的生命周期和减少离网率，最终实现收入的稳步提升。
数据变现，运营商寻找业务突破点，探索新的商业模式和数据隐私、安全方面的实践。提供能力：提供如智慧交通、店面选址、店面经营等服务，并可提供辅助运营服务。通过数据变现，帮助运营商从传统Scale-Up模型向Scale-Out转变的一种产品形态。
3结束语
大数据建设成功的重要开端就是打造一个适合大数据整合的基础架构，聚焦大数据采集与整合和大数据基础设施的解决方案，同时，站在大数据行业的未来发展趋势的判断，企业知识引擎和客户智能将实现客户精确营销。未来在对大数据的不断探索研究下，大数据必将带来更多价值。