基于Storm的Web日志分析系统的设计与实现

来源 :北京邮电大学 | 被引量 : 5次 | 上传用户:shuimolanting
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网时代下,人们受益于各类层出不穷的网站与应用时,也无时无刻不在为它们贡献着Web日志。这些日志中记录着人们在网页上浏览的足迹,也记录着各种含有潜在价值的相关信息。实时分析Web日志既有利于用户得到更为人性化的服务,也利于网站改善自身的运行与维护。如今,海量数据实时计算框架Storm的出现,已使得大规模的实时Web日志分析成为可能。本文基于Storm,针对Web日志分析中所面临的应用场景与技术难题,设计并实现了一套高性能、低耦合的组合系统,为Web日志的实时分析提供了一个实际的解决方案。本文的工作包括如下几个方面:1)对本文研究课题的背景和意义予以了阐述,并对系统中涉及到的相关技术进行了概述,重点介绍了本系统中用于实时计算的核心工具Storm;2)分析系统需求,提出总体架构,并为架构中涉及的各个模块构建了系统模型,使得系统具有低耦合、易拓展、高可用等特性。该系统解决了 Web日志的实时收集、异步读取、实时计算、存储展示,实时监控等一系列问题,本文针对各功能模块进行了深度整合,使得它们可以在总体框架下正常运行;3)设计了通过Storm对Web日志进行计算的业务流程,其中包含了 K-means++算法和滑动窗口在Storm上的应用,并予以编程实现。经过系统功能验证,结果由Web页面展示;4)对运行的系统进行了状态监控,并通过对比分析提出了一些基于Storm的系统优化方法。
其他文献
目的探讨抗磷脂酶A2受体(PLA2R)抗体在特发性膜性肾病(IMN)患者肾组织及血液中的表达及检测价值。方法回顾性选择2016年6月至2018年6月遂宁市中心医院肾内科收治并确诊的56例
创新型封闭式基金具有传统型封闭式基金的各种优点,同时克服了封闭式基金折价率过高的缺点,是我国基金业的重要金融创新产品。文章对影响创新型封闭式基金的市场表现的动因进行
根据妇产科学的特点和教学现状,建立妇产科学课程网站并提供丰富的多媒体网络化的教学资源,便于学生的在线学习。结果证实,此举有利于提高教师的教学质量和学生的学习热情,有
近年来,大数据出现的频率越来越高,很多行业和领域在大数据相关技术的帮助下取得了突破性的进展。交通作为人类行为的重要组成和重要条件之一,对于大数据的感知也是最急迫的
随着现代市场环境的不断变化,行政事业单位的财务会计内部控制中仍存在许多问题,行政事业单位的财务会计内部控制具有重要作用,不但能够确保财务会计信息的真实性与完整性,同
近期.甘肃省政府与航天科技集团510所在五大领域达成战略合作协议。航天510所加大军转民力度.将在航天育种、太阳能光伏发电系统、真空设备制造,隔热材料等五大领域的一批成熟的
在西方,法律与宗教有着密切的关系,在西方亦是如此。讨论二者之间的关系时,需要分阶段来看:最初,在古希腊、罗马时期,法律是宗教的一部分;而随着新教改革,法律与宗教的分离成为现代社
早产儿视网膜病变是一种发生于低体重早产儿的视网膜血管性疾病,主要是由于早产儿出生时视网膜发育仍不完善,在多种因素影响下,视网膜形成新生血管,这种新生血管易向玻璃体内增殖
报纸
惠州地方文献蕴藏着十分丰富的旅游资源,是促进旅游业发展的情报信息源。探讨了开发惠州地方文献对促进地区旅游业发展的意义与作用,提出了开发惠州地方文献的措施。
目的:探讨极低出生体重儿中发生早产儿视网膜病变(retinopathy of prematurity,ROP)的机率和相关的危险因素。方法:对2年收治的292例极低出生体重儿,在纠正胎龄32w或生后4~6w