论文部分内容阅读
摘要：随着社会的发展传统的数据分析法已经很难满足海量电信数据发展的需求，于是人们开始研究各种云计算平台，而Hadoop又是一个开源框架并且可实现大规模分布式计算，其主要优点是高效、可靠、可伸缩性强，因此在云计算领域得到了广泛应用。为了更好地提高其分析与计算海量数据的效率，该文首先分析研究了云计算与Hadoop，并在此基础上提出了一种分布式云计算海量数据的方法，建立了一个基于Hadoop的海量电信数据云计算平台。实践证明该平台能够有效管理与分析海量电信数据，大大提高海量电信数据的分析速度。
关键词：Hadoop；海量数据；云计算平台；研究
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）34-0006-02
随着通信技术的不断发展，用户使用的通信设备也越来越多，在通信的过程中产生的各类数据正在飞速增长，要想使这些通信设备更好地服务于社会，必须提高分析与处理这些数据的效率，而传统的关系型数据管理方法显然已经无法满足通讯业发展的需求，这就给电信运营商的数据分析与管理提出了更高要求，因此如何快捷、高效、安全的分析与管理这些海量数据，已经成为当今社会各数据工作着研究的重点内容，为此本文主要对基于Hadoop的海量电信数据云计算平台进行了研究。
1 相关技术简介
1.1 云计算
云计算是在综合了并行计算、分布式计算、网络计算的基础上发展而来的，它主要是通过利用大量计算机构成资源池来分析与计算相关任务的，各种计算任务的存储空间以及信息服务在这个资源池中都可以根据自身的需求获取。并且这个资源池具有安全可靠、价格低廉的优点。依照提供服务的不同，可把云计算分为SaaS.（软件即服务）、PaaS（平台即服务）、LaaS（基础设施即服务），数据是云计算的主要中心，其在数据的处理编程方面具有独特优势。
1.2 Hadoop
Hadoop是一种分布式计算开源框架，其主要是通过大计算池的搭建，来提高海量数据的计算速度，它是一种解决云计算问题的低成本方案。Google云计算可以通过 Hadoop来实现。Hadoop Common ， HDFS和MapReduce 是Hadoop的主要核心，还有一些其他子项目在Hadoop中做其相关的补充作用。Hadoop技术栈如下图所示，可扩展、经济、可靠、高效是Hadoop的主要优点，目前很多大型网站有在应用Hadoop。
2 基于Hadoop的海量电信数据云计算平台设计
2.1 平台设计的目的与原则
利用Hadoop通过低廉设备就可以处理海量数据的优势，可以通过采用一些低端PC服务器来搭建一个Hadoop云计算平台，来分析与处理海量电信数据，进而把分析与处理数据的速度与效率提高，来提供一些即时准确的信息供业务决策参考，同时降低公司生产成本是设计Hadoop云计算平台的主要目的。此项平台设计要遵循安全、高效、经济的原则。
2.2 平台框架结构
1）数据层
网络域数据与业务支撑域数据是海量电信数据主要包括的两个方面，其中Gb口数据、A口数据、WLAN数据是网络域数据主要包括的内容，客户信息、客户业务订购数据、客户消费数据等是业务域数据主要包括的内容。其中这些数据主要存储在Hadoop中的HDFS内，采用Hbase、Hive、Pig来处理与管理这些数据，统计指标用类SQL语言定义，通过生成MapReduce任务来计算与处理这些数据，在HDFS中存储处理结果。其具体框架结构如图2所示。
2）模型层
基于Hadoop的ETL处理是模型层的主要构建方法，构建分析模型如客户位置信息、上网行为模型等，有助于更好的分析客户各方面的实际情况，以便数据库能更好地为客户需求服务。
2.3 平台功能模块
用户管理、数据管理、任务管理、集群管理这些是海量电信数据云计算平台主要的功能模块。它们各自的功能主要如下：
用户管理模块：主要是用来管理用户信息的，如用户开通账号、身份认证、权限管理等等。
数据管理模块：主要是用来上传、下载或删除数据的。
任务管理模块：主要是用来管理系统的各项任务的，如任务申请，资源分配等等
集群管理模块：主要是用来管理Hadoop集群状态，任务的执行情况等等。
2.4 平台安全机制
由于Hadoop的各集群节点能够互通，采用的是统一的账号来操作Hadoop集群的各节点，加之电信数据本身具有敏感性，只靠Hadoop自身机制难以安全有效的控制数据，这样就存在了安全隐患，为把安全风险降到最低，更好的防范安全事故，应利用必要的安全机制来管理平台数据。
1）平台自身安全管理
把Hadoop集群网络划成许多局域网，给这些局域网设置防火墙，出口只采用NameNode，由它与外部通信，访问内部节点也由它来实现。
2）账号安全管理
对平台管理员账号必须严格管理，对于一些登陆口令之类的要经常更换，要把操作Hadoop集群的账号与传输数据的账号分开进行管理，并且对其访问权限要进行严格控制，要及时保存操作各账号的记录，并且要定期进行审计。
3）数据安全管理
由于电信数据可能包括一些个人隐私内容，其数据具有敏感性，因此必须把这类数据的保密工作做好，具体的安全管理措施有实时记录数据进出、分存分放、加密传输、定期审计等等。
3 平台的部分实现
底层Hadoop集群部署的实现，采用1个NameNode服务器、1个JobTracker服务器、4个DataNode服务器作为底层Hadoop集群，安装Hadoop的过程为：lost文件的配置、新建Hadoop目录与用户、配置SSH免密码登录。
4 结束语
本文主要针对传统数据分析法分析海量电信数据效率低、分析能力差等问题，提出了基于Hadoop的分布式云计算方法，并且设计了基于Hadoop的海量电信数据云计算平台，通过大量的实践表明，本文提出的方法不但能顺利完成海量数据的分析计算，而且还能大大提高数据的计算速度，具有很大的实用性，同时为今后进一步研究Hadoop在海量电信数据云计算平台的应用打下了良好基础。具有很高的应用与推广价值。
参考文献：
[1] White T. Hadccp： the Definitive Guide. O’Rcillly Media， Ine.， 2009.
[2] 张建勋，古志民，郑超.云计算研究进展综述.计算机应用研究.2010，27（2）：429-433.
[3] 施岩.云计算研究及Hadoop应用程序的开发与测试，北京京邮电大学，2011.
[4] 张少敏，李晓强，王保义.浅谈提高城市配电网供电可靠性的措施[J].华北电力技术，2007（5）.
[5] 刘鹏，黄宜华，陈卫卫.实战Hadoop—开启通向云计算的捷径[M].北京电子工业出版社，2011.
[6] 李文海，许舒人.基于Hadoop的电子商务推荐系统的设计与实现[J].计算机工程与设计，2014（1）.
关键词：Hadoop；海量数据；云计算平台；研究
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）34-0006-02
随着通信技术的不断发展，用户使用的通信设备也越来越多，在通信的过程中产生的各类数据正在飞速增长，要想使这些通信设备更好地服务于社会，必须提高分析与处理这些数据的效率，而传统的关系型数据管理方法显然已经无法满足通讯业发展的需求，这就给电信运营商的数据分析与管理提出了更高要求，因此如何快捷、高效、安全的分析与管理这些海量数据，已经成为当今社会各数据工作着研究的重点内容，为此本文主要对基于Hadoop的海量电信数据云计算平台进行了研究。
1 相关技术简介
1.1 云计算
云计算是在综合了并行计算、分布式计算、网络计算的基础上发展而来的，它主要是通过利用大量计算机构成资源池来分析与计算相关任务的，各种计算任务的存储空间以及信息服务在这个资源池中都可以根据自身的需求获取。并且这个资源池具有安全可靠、价格低廉的优点。依照提供服务的不同，可把云计算分为SaaS.（软件即服务）、PaaS（平台即服务）、LaaS（基础设施即服务），数据是云计算的主要中心，其在数据的处理编程方面具有独特优势。
1.2 Hadoop
Hadoop是一种分布式计算开源框架，其主要是通过大计算池的搭建，来提高海量数据的计算速度，它是一种解决云计算问题的低成本方案。Google云计算可以通过 Hadoop来实现。Hadoop Common ， HDFS和MapReduce 是Hadoop的主要核心，还有一些其他子项目在Hadoop中做其相关的补充作用。Hadoop技术栈如下图所示，可扩展、经济、可靠、高效是Hadoop的主要优点，目前很多大型网站有在应用Hadoop。
2 基于Hadoop的海量电信数据云计算平台设计
2.1 平台设计的目的与原则
利用Hadoop通过低廉设备就可以处理海量数据的优势，可以通过采用一些低端PC服务器来搭建一个Hadoop云计算平台，来分析与处理海量电信数据，进而把分析与处理数据的速度与效率提高，来提供一些即时准确的信息供业务决策参考，同时降低公司生产成本是设计Hadoop云计算平台的主要目的。此项平台设计要遵循安全、高效、经济的原则。
2.2 平台框架结构
1）数据层
网络域数据与业务支撑域数据是海量电信数据主要包括的两个方面，其中Gb口数据、A口数据、WLAN数据是网络域数据主要包括的内容，客户信息、客户业务订购数据、客户消费数据等是业务域数据主要包括的内容。其中这些数据主要存储在Hadoop中的HDFS内，采用Hbase、Hive、Pig来处理与管理这些数据，统计指标用类SQL语言定义，通过生成MapReduce任务来计算与处理这些数据，在HDFS中存储处理结果。其具体框架结构如图2所示。
2）模型层
基于Hadoop的ETL处理是模型层的主要构建方法，构建分析模型如客户位置信息、上网行为模型等，有助于更好的分析客户各方面的实际情况，以便数据库能更好地为客户需求服务。
2.3 平台功能模块
用户管理、数据管理、任务管理、集群管理这些是海量电信数据云计算平台主要的功能模块。它们各自的功能主要如下：
用户管理模块：主要是用来管理用户信息的，如用户开通账号、身份认证、权限管理等等。
数据管理模块：主要是用来上传、下载或删除数据的。
任务管理模块：主要是用来管理系统的各项任务的，如任务申请，资源分配等等
集群管理模块：主要是用来管理Hadoop集群状态，任务的执行情况等等。
2.4 平台安全机制
由于Hadoop的各集群节点能够互通，采用的是统一的账号来操作Hadoop集群的各节点，加之电信数据本身具有敏感性，只靠Hadoop自身机制难以安全有效的控制数据，这样就存在了安全隐患，为把安全风险降到最低，更好的防范安全事故，应利用必要的安全机制来管理平台数据。
1）平台自身安全管理
把Hadoop集群网络划成许多局域网，给这些局域网设置防火墙，出口只采用NameNode，由它与外部通信，访问内部节点也由它来实现。
2）账号安全管理
对平台管理员账号必须严格管理，对于一些登陆口令之类的要经常更换，要把操作Hadoop集群的账号与传输数据的账号分开进行管理，并且对其访问权限要进行严格控制，要及时保存操作各账号的记录，并且要定期进行审计。
3）数据安全管理
由于电信数据可能包括一些个人隐私内容，其数据具有敏感性，因此必须把这类数据的保密工作做好，具体的安全管理措施有实时记录数据进出、分存分放、加密传输、定期审计等等。
3 平台的部分实现
底层Hadoop集群部署的实现，采用1个NameNode服务器、1个JobTracker服务器、4个DataNode服务器作为底层Hadoop集群，安装Hadoop的过程为：lost文件的配置、新建Hadoop目录与用户、配置SSH免密码登录。
4 结束语
本文主要针对传统数据分析法分析海量电信数据效率低、分析能力差等问题，提出了基于Hadoop的分布式云计算方法，并且设计了基于Hadoop的海量电信数据云计算平台，通过大量的实践表明，本文提出的方法不但能顺利完成海量数据的分析计算，而且还能大大提高数据的计算速度，具有很大的实用性，同时为今后进一步研究Hadoop在海量电信数据云计算平台的应用打下了良好基础。具有很高的应用与推广价值。
参考文献：
[1] White T. Hadccp： the Definitive Guide. O’Rcillly Media， Ine.， 2009.
[2] 张建勋，古志民，郑超.云计算研究进展综述.计算机应用研究.2010，27（2）：429-433.
[3] 施岩.云计算研究及Hadoop应用程序的开发与测试，北京京邮电大学，2011.
[4] 张少敏，李晓强，王保义.浅谈提高城市配电网供电可靠性的措施[J].华北电力技术，2007（5）.
[5] 刘鹏，黄宜华，陈卫卫.实战Hadoop—开启通向云计算的捷径[M].北京电子工业出版社，2011.
[6] 李文海，许舒人.基于Hadoop的电子商务推荐系统的设计与实现[J].计算机工程与设计，2014（1）.