基于大数据的网络用户行为分析

来源 :北京邮电大学 | 被引量 : 15次 | 上传用户:guofeng1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
至今为止,中国互联网已经有了一定的成熟规模,互联网应用也从单一化逐渐走向多元化。互联网越来越深刻地改变着人们的学习、工作以及生活方式,甚至影响着整个社会的进程。在互联网快速发展的背景下,我们逐步走进了“大数据时代”,任何一个简单的行为都会产生数据,城市数据、企业数据、网站数据、购物数据等都成为我们虚拟与现实生活的重要组成部分。面对这些数以千计的数据以及它们多种多样的数据结构,传统的关系型数据库已经不能很好地解决大数据带来的问题,单机的统计和分析也变得力不从心,而由谷歌提出的MapReduce编程模型可以快速有效地处理大数据。Hadoop云平台就是基于MapReduce编程模型的一个分布式处理的软件框架,因此近几年,hadoop云平台已成为分析大数据所必不可少的一个工具。本文首先介绍了研究的背景以及意义,然后先从网络业务的角度,对网络业务流量特征有初步认识,接着对大数据下网络用户行为分析的概念、网络用户行为分析的内容、网络用户行为分析的意义以及网络用户行为分析的方法进行介绍。之后,简要介绍了本文使用到的Hadoop系统技术,包括使用到的HDFS分布式文件存储系统、MapReduce编程模型、Hbase分布式存储系统、数据分析工具Hive。最后,重点介绍了本文系统框架以及数据分析处理的过程。本文对企业网络用户的HTTP报文、DNS报文以及主机流量表进行分析。主机流量表是以主机用户的角度对我们自己定义的复合会话进行进一步统计,分别得到了主机流量实时统计表、主机流量日统计表以及主机流量月统计表。之后,我们对主机流量实时统计表以及主机流量日统计表的某些属性进行分析,并对其进行可视化来分析企业网络用户行为。最后,验证时间序列分析中的自回归积分滑动平均模型(Autoregressive Intergrated Moving Average Model,简记ARIMA)是否能对单个企业每天的上网流量总数进行短期预测。
其他文献
“以教学为中心”作为学校教育的一条原则、规律和策略,要提供给人们的是在一定理论框架指导下的思维方式和行为准则。当前已进入以人的发展为宗旨的新时代。今天所强调的“以
目的:分析整体护理对溃疡性角膜炎患者满意度及心理状态的影响。方法:2017年5月-2019年5月收治溃疡性角膜炎患者70例,随机分为两组,各35例。研究组实施整体护理,参照组实施常
目的:分析无痛分娩产程护理工作中开展循证护理干预的效果。方法:选取2017年8月-2018年8月无痛分娩产妇90例,随机分为两组,各45例。对照组接受常规护理,观察组接受循证护理。
21世纪,信息技术浪潮席卷了全世界,打破了服务不可存储、不可运输和产用同时的特性。经济出现了全球化发展的势头,社会分工在全球范围内进行。在要求“绿色经济”、节能减排
目的:探讨个性化心理护理在老年脑梗死患者护理中的应用价值。方法:2018年1-12月收治老年脑梗死患者60例,随机分为两组,各30例。对照组采取常规护理措施,观察组在常规护理基
近日,中共中央、国务院印发《关于深化医疗保障制度改革的意见》。《意见》总体要求,以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四
不论在哪一个国家,人们在语言交际中总会遇到一些不想或不便直接提及的事物,或者希望对于一些词语和话题进行一定程度的回避,这个时候人们就会使用一些间接的说法替代原来直
乍一看题目,你们会以为小黑板有什么特别之处,其实不然,它是我教学用的教具——一块极其普通的小黑板。但正是这块普通的小黑板帮了我的大忙,改变了一个孩子。
国土资源部、财政部、住房和城乡建设部、农业部、国家林业局联合发文,明确要求严格规范集体建设用地使用权确权登记工作,说明国家对于集体建设用地管理的重视。土地是农民的
脚扣是电力施工登杆作业工具之一,因其携带方便、实用而受欢迎。但由于其结构设计问题,登杆作业人员数分钟后脚部会因受力不均而感到腿脚麻困,降低了施工安全系数,影响了作业效率