基于Hadoop的网络业务分析系统的设计和实现

被引量 : 2次 | 上传用户:JoshuaSiu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网诞生至今已有半个世纪,我们在经历了Web1.0和Web2.0时代后,正在向Web3.0时代——网络服务个性化——迈进。互联网在不断地改变着我们的生活方式同时,也不断地给我们带来机遇和挑战。近年来海量网络数据的产生,给我们带来了巨大的价值,同时也提出了难题。网络数据的增长速度己远远超出了单台服务器的承受能力,如何有效地从海量数据中提取出有用的商业价值,已成为各大互联网公司研究的热点。通过网络数据分析,可以获悉用户对网络终端的偏好、对网络业务的偏好、对网络浏览器的偏好等用户行为特性,然后有针对性地优化网络业务,改善用户体验,从而增加用户的活跃度和留存率,给企业带来更大利润。海量网络数据的产生,使在传统的单机上进行网络业务分析,已满足不了业务有效性的需求,并且随着数据量的增长,效率急剧下降。近年来,Hadoop在海量数据的离线分析处理中脱颖而出,扮演了越来越重要的角色,也是被验证的优秀的分布式开放平台,并且可以通过增加廉价节点来应对数据量的增加,具有良好的稳定性和可扩展性。所以在Hadoop分布式平台上搭建网络业务分析系统,是合理的选择,也满足了业务的需求。本文的基于Hadoop的网络业务分析系统主要模块有网络数据采集、数据存储、数据预处理、数据统计分析和数据结果展示五个部分。本论文主要的工作成果如下:1)搭建了三个节点的Hadoop集群上,在这个集群上完成了网络业务分析系统的设计和实现,并且完成了统计结果的浏览器图表展示功能。2)验证了Hadoop分布式平台离线数据处理效率优于单机。3)通过试验对这个网络业务分析系统进行了性能优化,并且对实验结果进行了分析,得出了相应的优化策略。
其他文献
《史记》的《大宛列传》主要记述了张骞两次出使西域和李广利伐大宛这两个核心事件,并叙述了当时西汉、西域及匈奴三者关系的发展演进历程。《大宛列传》具有人物传、外国传
随着各行各业的信息化建设进程不断发展,结合各自行业特征的业务系统的应用愈加广泛,在业务过程中产生和留存下来的人口信息数据规模也逐渐显现。而这些海量人口信息数据理应
果胶是一种优良的食品添加剂 ,有高酯果胶和低酯果胶之分。对低酯果胶我国尚无明确质量标准。因此 ,了解低酯果胶胶凝度测定方法 ,对高酯果胶和低酯果胶下陷率、加糖率、含糖
安徽某变电站#1主变储油柜油位指针偏高,通过分析金属波纹式储油柜进行体积补偿的工作原理,找出故障原因并及时排除故障,确保主变的安全可靠运行。
随着社会的进步和发展,将中国传统文化元素导入到现代平面设计中已变得至关重要,通过不断吸收、创新,才能使中国传统文化与现代平面设计完美结合,才能真正体现出中国的民族特
思想政治教育作为一种特殊的人类活动,在人类社会中具有重要的作用,它直接关系到国家的稳定、文化的传承、民族的发展以及人的道德培养。为了适应中国发展的新常态,思想政治教育
目的比较不同人工晶状体植入对年龄相关性白内障患者客观视觉质量及视觉相关生活质量的影响及相互关系。方法采用前瞻性非随机对照研究设计,收集2018年1月至8月在西南医科大
超级电容器电动车以其优异的性能、低成本以及零排放建立了全新的交通运输电动车的设计思想。综述了超级电容器的基本原理和特点,介绍了超级电容器在纯电动车与混合动力车上
信息时代,网络失范言论导致的违法犯罪现象日益增多。网络失范言论是网民对于社会秩序以及言论准则的破坏导致的言论偏差,具有隐蔽性、即时性、广泛性和交互性等特点。尽管公
在网络安全威胁日益增多的今天,利用系统漏洞而产生的攻击手段与日俱增。漏洞扫描技术就是防范这一类攻击手段的重要网络安全技术,能够作为一种主动防御的方式有效地做到防患