【摘 要】
:
近两年,随着移动流量资费的下调与移动终端设备的普及,移动互联网技术在横向和纵向上得到了广泛的发展。移动互联网的用户呈指数性的激增的同时,移动互联网技术和产品也得到了纵深的发展。分析移动互联网上的用户有助于我们了解用户的行为、监测用户的变化。而传统的单机型的数据采集与分析技术已经无法满足暴涨的用户数据,面对这一新增的数据资源,使用基于云系统的Hadoop大数据分析技术是目前较为流行的的技术解决方案。
论文部分内容阅读
近两年,随着移动流量资费的下调与移动终端设备的普及,移动互联网技术在横向和纵向上得到了广泛的发展。移动互联网的用户呈指数性的激增的同时,移动互联网技术和产品也得到了纵深的发展。分析移动互联网上的用户有助于我们了解用户的行为、监测用户的变化。而传统的单机型的数据采集与分析技术已经无法满足暴涨的用户数据,面对这一新增的数据资源,使用基于云系统的Hadoop大数据分析技术是目前较为流行的的技术解决方案。在这样的背景下,本文以移动互联网上产生的大量视频用户数据为数据来源。面对如此大批量的数据资源,需要合理的存储技术与数据预处理技术,才能支持后续的数据查询与分析。数据的ETL是数据仓库构建的一个重要环节,是所有数据分析的基础,它主要进行数据的抽取、转换与清洗、数据加载,而要实现大批量数据的联机查询分析,本文采用维度建模方法对数据仓库进行设计。本文进行的主要工作如下:(1)详细分析说明了当前移动互联网用户产生的视频数据的现状,从大数据分析的角度对整个系统进行了需求分析与功能分析,完成了需求分析与技术选型的工作。(2)比较了传统的数据ETL技术与现今较为流行的几种数据ETL模式和技术框架,使用Python语言对Map Reduce框架进行了封装与开发,作为数据分布式ETL的主要编程与数据预处理框架;Hadoop是一种离线的大数据处理框架,选择Hadoop中的Map Reduce与HDFS为本系统的数据计算框架与存储,研究了HDFS的数据存储与Map Reduce编程框架原理。(3)设计并实现了数据的计算技术构架,包含数据层、计算层、接口层、执行层、应用层。以实际的数据流进行数据仓库的设计,采用维度建模方法对数据仓库进行设计,分析数据主题,最后从物理上对数据事实表和维度表进行设计。(4)完成了整个系统的设计与实现,最终系统能够上线运行进行数据计算分析,系统能够从大量的低价值密度的数据中完成对当前移动互联网用户的现状与制造业从业情况的相关计算分析。
其他文献
目的:对于直径1.0cm~2.5cm的上尿路结石常选择微创手术治疗,但术后可能有残石。术后≥4mm的残石经患侧输尿管排出,能引起该侧输尿管痉挛、尿路梗阻、尿路积水和感染;也能作为结石核心,导致结石再生长而复发,所以如何安全快速地促进术后残石的排出至关重要。输尿管软镜碎石术对人体伤害小,恢复迅速,常用于治疗≤2.0cm上尿路结石,也可见于>2.0cm的上尿路结石。尿石清合剂是本院制剂,在结石患
随着云计算技术的不断发展及移动互联网的普及,云存储已经成为云计算最为广泛的应用之一。越来越多的企业和普通用户选择将数据交由云存储服务器进行管理,以节省硬件投资及数
法院判决书作为法庭审判最终结果的凭证,对维护社会稳定和保护公民合法权益具有重要意义。而强制性作为判决书的基本属性是保障判决书执行的重要条件。本文从语言表现形式上
本文对复合夹层板的动态力学性能及爆炸冲击下的动力响应进行了研究,针对复合夹层板的结构和材料,分别对复合夹层板的面板材料和夹芯材料进行了动态力学性能分析及试验,得到
在第二届篮球世界杯中,参赛的欧洲球队大部分都有着较为突出的表现,通过第一轮小组赛的激烈对战后,共有九支欧洲球队进入了第二轮小组赛,其中既有西班牙、立陶宛、希腊和塞尔维亚这些传统强队,也有法国这样的后起之秀,同时波兰和捷克也打出了不错的表现。因此不管是从提高球队整体技战术水平的角度,还是从球员的个人实力来看,欧洲篮球的攻守体系对于中国男篮都是具有较高的研究价值的,而在进攻方面里占据绝大部分的就是阵地
光缆在现代通信行业中发挥着重要的作用,承载信息量大,可靠性要求高。光缆表面的质量对光缆产品的商业价值以及直接使用都有着重要的影响,越来越多的企业开始增强光缆表面质
本翻译项目选自《美丽湖南》一书,此书介绍了关于湖南的自然景观、人文古迹以及民俗风情,译者节选其中的第二章进行翻译与分析。书中最突出的文本特色是四字词组,因此,难点是
随着云计算的蓬勃发展,云存储以一种新的数据存储方式引起了人们的注意。云存储是由云计算演变而来,用于将本地的数据上传到云服务器上保存,这种存储方式具有使用方便,成本低
在中国共产党第十九次全国代表大会的报告中,描绘了实现中华民族伟大复兴梦想的宏伟蓝图,清楚地指出了生态文明建设中存在的突出问题。近年来,随着我国的飞速发展和综合国力的不断提高,社会上的主要矛盾已转变为人们对美好生活的需要与不平衡不充分发展之间的矛盾。经济快速发展带来的环境问题已经日益突出。我国在高速发展的过程中没有忽视环境治理,也一直努力平衡着环境与发展之间的关系。为此我国制定了一系列与环境治理有关
作为一种教育改革的新元素,为满足当今社会人们对于素质文化的大量需求,社会力量办学成为中等职业教育行业为实现资源优化整合以及维持长期的持续发展所选择的新型办学模式。