基于Hadoop的移动运营大规模数据治理

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:ccache
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在移动互联网发展起来后,数据增长速度加快,整个通信运营产业压力突出,数据爆发性增长后,收入并未改观,因此,电信运营商面临着数据流的附加值被互联网公司赚走的挑战,同时面临沦为管道化的尴尬,如何利用好手中的大数据,成为需要面对的问题。为了应对大数据时代的挑战,充分利用好系统的数据资源,移动公司计划启动精准营销平台一期硬件及集成工程,基于大数据技术建设以客户标签、流量运营、存量保有、终端销售和渠道协同等为主要内容的支撑平台,锻造互联网运营支撑能力。本文以移动精准营销平台为依托,对大数据的治理进行了研究,主要包括数据提取与预处理和大数据的安全问题。本文首先分析了数据仓库技术(ETL,Extract-Transform-Load)、元数据的概念、公共仓库元模型(CWM,Common Warehouse Metamodel)以及Hadoop的相关知识。然后以Hadoop的MapReduce并行处理框架和Mpp库为基础,通过云化ETL和爬虫技术设计实现了移动精准运营平台的数据挖掘以及数据预处理功能,设计完成了数据安全的相关功能,并设计了运营系统的元数据模型。
其他文献
目的探讨经胆管192Ir内照射的安全性、可行性以及有效治疗范围,为肝门部胆管癌经胆管192Ir内照射提供理论依据。方法取雄性健康杂种犬16只,据照射剂量随机分成4组,每组4只。
自2013年和2015年财政部先后修订《行政单位会计制度》和《财政总预算会计制度》后,我国新的事业单位财务制度体系和会计制度体系基本形成,但两者内部以及两者之间并不完全协
利用 Matlab 仿真技术拓展了电力电子实验的深度和广度,为其注入更多的研究性因素。首先搭建Matlab/SimPowerSystems 仿真模型加以求解,引导学生对仿真结果进行理论分析和定量
目的构建军队医院显性软实力结构,促进医院快速可持续发展。方法系统思维法与实践验证法。结果构建了"战略的决策能力+科学的制度管理+系统的执行能力+优势的技术品牌+个性的文化
人工智能技术进入企业管理,是企业转型和发展的先决条件。人工智能技术能提高企业的管理效率和效益,尤其是对财务部门的影响最大。人工智能技术进入财务会计领域,就意味着财
国际海事组织(IMO)与应对全球石油和油气行业环境保护和社会问题的国际石油工业环保协会(IPIECA)于2013年3月20日至3月21日在印度尼西亚雅加达举行的区域性工作会议上联合发起了
采用轮流搅拌-曝气SBR系统模拟两种不同曝气方式(分点曝气和分段曝气),研究其形成的污泥絮体特性.结果表明:在相同的运行条件下,分点曝气形成的污泥絮体尺度大、沉降性能好,两者
随着现代经济飞速发展,国有企业为提高竞争力逐步进行改革,而在实施过程中所突显出的税收问题,由于其功能的特殊性及与国有企业改革息息相关的密切性,势必对国有企业外部环境
目的调查分析护理硕士研究生职业决策自我效能的特点及其影响因素。方法便利抽样选择某高校一年级到三年级护理硕士研究生120名为研究对象,运用大学生职业决策自我效能量表,
以中部某省为例,从内外部环境两个角度介绍了该省知识产权质押发展的现状,认为制约该地区知识产权质押融资发展的关键因素为:贷款机构的意愿偏低、评估处置方面体系不健全、