基于Hadoop的网络用户行为分析

来源 :兰州理工大学 | 被引量 : 11次 | 上传用户:tw2008hr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络已经成为人们学习、工作和生活中必不可少的重要组成部分。校园网作为高校教学、科研和信息服务的基础平台,已经成为衡量高校信息化建设和智慧校园建设的重要指标之一。随着校园网中各种网络应用的增多,产生了以日志形式存在的海量网络用户行为数据。与此同时,校园网规模的日益扩大和用户人数的增长,给校园网优化升级和日常运维管理带来了许多问题。另外,学生用户过度使用网络不仅给自身的学习、生活和身心健康带来了巨大危害,而且为高校学生教育管理工作提出了新的要求。因此,校园网用户网络行为分析,有助于高校网络管理部门制定和完善更加合理有效的网络管理制度和日常运维策略;为广大师生提高安全、快速和可靠的网络环境;有助于高校学生管理部门及时了解和发现学生的思想动态和学习状况等有用信息。本文在西北民族大学校园网基础上,以校园网络核心交换机H3C-12508网络镜像端口用户访问网络的点击流日志和深蓝计费网关Srun3000的用户登录数据作为研究对象,主要针对校园网用户中学生用户在线行为展开研究。本文主要研究工作如下:1.搭建了包含Hive和Sqoop子项目的分布式Hadoop实验环境;2.在Hadoop集群下,预处理校园网用户行为数据和进行用户类别划分;3.采用Hive QL查询技术,对校园网用户群体行为从五个方面展开研究,即不同时段在线用户人数分析、用户在线时间长度分析、用户访问的目的地址分析、用户在线流量分析和学生异常行为分析。用户访问的目的地址分析中,为了加快目的地址统计和排序的速度,编写了一个Linux Shell脚本用于目的地址统计和排序,并取得了良好的运行效果。通过对不同年级、不同培养层次和不同学院学生用户在线时长、使用网络流量和在线人数等方面进行对比研究,并对不同学生用户群体中出现网络行为异常的原因作了初步的探讨和分析,给出了具有针对性的意见和建议;4.对学生用户群体行为展开聚类分析。首先利用K-means聚类算法并行化的思路,找出了该算法的实现方法;接着编写Mapper函数和Reducer函数实现K-means算法;最后,从用户在线时长、下行流量和上行流量角度出发,对用户网络行为进行聚类研究,将用户划分为5个类别,并对每个类别产生的原因和其特征进行了深入细致的分析。总之,上述校园网用户行为研究,对于高校网络管理和学生管理具有重要的参考价值和指导意义。
其他文献
<正>所有热爱好电影的人以及对我们国家20世纪历史感兴趣的人都应该看看鲁斯捷姆·阿布德拉舍夫的影片《给斯大林的礼物》。这部影片值得关注,理由很多——既包括艺术性也包
大方县是贵州省西北部的一个少数民族贫困县,世居有23个民族,其中少数民族占总人口的30.5%,民族文化丰富,尤以明朝洪武年间形成的以奢香文化为主的彝族文化最为典型。本文以
童年是人生中的重要时期,而幼时最好的伙伴就是玩具。玩具陪伴孩子们一路成长,它让孩子拥有一个美妙的童年,不仅是陪伴他们的玩伴,也是不可或缺的"导师",更是开发智力,促进健
介绍了一种交流永磁同步电机全数字伺服控制器的软硬件组成及设计方案,系统采用TI DSP TMS320LF2406组成核心控制电路,以智能功率模块构成主电路,具有通用紧凑的系统结构。
目的了解不同职业不同年龄组成年女性的健康状况,制定有效的防治措施。方法对7419名不同职业女工健康普查中B超(检查项目包括肝、胆、脾、胰、双肾、子宫附件、乳腺)检查结果
<正>镜头淡入:破晓。波涛汹涌的海浪。阵阵海浪把一个胡子拉碴的男人冲上了海滩的沙地。他躺在那儿。一个小孩的叫喊声让他抬起头来张望:一个金发白肤的小男孩蹲伏着,背对着
传统工科培养出来的工程师已成为工具理性思考的典型。新工科应该将"培养工具理性与价值理性兼备的工程师"作为人才培养目标定位,这是由学生个体发展、工程本质属性、社会需
采用层次分析法(AHP),以生长适应性、生态防护能力、景观价值和经济价值为Ⅰ级指标,以耐水湿性、抗污染性、生长速率、树冠特征、枝条特征和根系特征以及叶、花、果、树干和
分析近15年来诊治咽喉结核89例临床资料。其特点为:咽结核发病率高于喉结核,发病年龄以41~50岁为主,咽痛和声嘶分别为咽、喉结核最多见首发症,全身中毒症状少,误诊率高。特点为:①40岁前多见;②
<正>目的通过建立统计学模型定量分析直肠癌调强放疗危及器官照射剂量与其解剖学结构之间关系,提供一种预判直肠癌调强放疗危及器官照射剂量的方法。方法选择我院25例直肠癌
会议