基于HTTP协议的网络数据分析系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:weichungchen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着经济社会的发展,网络深刻地改变和影响着人们各方面的生活习惯,包括社交、电子商务、阅读、知识学习等。科技进步也导致了网络终端接入设备的增加,个人用户能够更加容易接触网络。互联网新经济的崛起,导致人们的网络活动完全是现实生活的缩影。网络上的信息量呈现爆炸式增长,在此背景下,通过收集网络流量日志,分析某一个IP地址下的网络状况,从而刻画用户画像,以了解各个IP地址的信息以及其下可能存在的用户数据。本系统提出基于HTTP协议数据的分析系统,从HTTP协议的流量信息、报文信息、正文信息三个方面分析当前的网络状况,描述了从IP地址到终端设备再到用户个人的网络模型。统计了HTTP协议中的IP流量信息,设计了应用于IP地址依据应用服务划分的朴素贝叶斯分类模型,在IP地址层面描绘了网络状况。参考了HTTP协议中User_Agent字段的变动历史,提出了从User_Agent字段中提取浏览器信息、设备名称和操作系统的方法,实现了终端设备层面的分析。对于用户层面,解析了HTTP协议正文,包括JSON格式和HTML格式的数据,提取了B/S架构的软件和用户交互时包含的个人数据,设计了基于HTML格式数据的知识学习方法以扩充提取数据所依赖的知识库信息。在数据分析的基础上,设计了信息展示平台,以Web的形式提供服务,通过jQuery和Bootstrap等前端框架,实现了简洁易用友好的界面,采用Tomcat服务器,Mysql作为数据库,使用MyISAM存储引擎提高读写效率。最后,本文设计了对该系统进行功能测试和性能测试的方法,在测试阶段进行了程序调优,基本满足了工业和警用的要求,整个系统可投入实际使用运行。
其他文献
重点研究探讨教师教育专业大学生心理压力问题,通过调研分析教师教育专业大学生心理压力的来源、各种压力源所占的比重以及如何采取有效措施减轻教师教育专业大学生的心理压
目的:探讨综合护理干预对慢性胃炎及消化性溃疡患者生活质量的影响。方法:选取84例慢性胃炎及消化性溃疡住院患者,随机分为观察组和对照组,采用相同的治疗方式,分别常用常规
基于SERVQUAL模型进行高校就业工作学生评价的实证研究,构建学生感知的高校就业服务质量学生评价量表,探讨学生感知就业服务质量影响因素,便于高校测量学生期望与感知就业服
<正>新发展理念是习近平新时代中国特色社会主义思想和基本方略的重要组成部分,贯彻新发展理念必须建设现代化经济体系,现代化经济体系包括产业体系和经济体制两个基本方面。
新型城镇化"要让城市融入大自然,让居民望得见山、看得见水、记得住乡愁",这是新型城镇现代化的必须思考的问题。城镇街区是以城市道路为骨架,聚集了同质文化、自然生态、商
汉武帝《李夫人赋》并非如学术界所说的作于元鼎四年或元鼎六年,而是作于元封三年之后、太初元年之前。《李夫人赋》是中国文学史上第一篇悼亡赋,其题材内容和艺术形式在赋史
以汽车用超高强度钢22MnB5为研究对象,采用直接热成形工艺和间接热成形工艺进行汽车防撞梁成形试验。采用金相显微镜、显微硬度仪和万能拉伸试验机等分析测试手段对成形件的
<正> 慢性胆管炎系胆管的慢性炎症,近年来随着诊断技术的提高,逐渐成为临床常见病之一,我们应用小柴胡汤治疗28例疗效满意,报告如下。一临床资料男12例,女16例。最小年龄20岁
在线支付是电子商务活动的重要环节 ,也是电子商务开展的基础条件。现阶段 ,我国需要大力进行在线支付基础设施建设 ,健全社会信用制度 ,加强在线支付经营主体银行的建设 ,加
<正> 在结束了十年动乱的政治生活之后,痛定思痛,反映知识分子坎坷生活经历的作品,数量很多。张贤亮同志的近作中篇小说《绿化树》也选取了这类题材。这不仅在于作者有着丰厚