基于Storm的数据分析系统设计与实现

被引量 : 48次 | 上传用户:zhiyin1976
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,大数据、移动互联网已经成为这个时代的共识,只有依靠大数据技术深入挖掘数据中潜在的价值才能为企业在时代浪潮中提供更可靠的决策依据。因此,大数据处理技术成为人们研究的热点。Hadoop目前已经成为批处理的标准,而目前人们对实时处理、个性化查询要求越来越高,所以Storm出现了,而目前对Storm实时流处理技术的研究仍然处于初始阶段。论文对Storm实时流处理技术与其他相似技术进行了比较,总结了相关技术的优势所在以及适合的应用场景。对Storm进行数据处理时存在的相关问题也进行了研究并进行了相关的改进。实现了Storm与Spring框架的结合,实现基于xml配置文件定义Topology,减少组件间的耦合性。通过K-means算法并行化进行用户聚集度分析,实现了整个分析系统的并行化,最后总结了Storm系统性能优化的基本思路。总结起来,论文主要进行了如下方面的工作:分析和比较了流行的大数据处理技术,尤其是流处理技术;并对Storm性能进行了分析,总结出了Storm性能优化基本思路;采用分布式数据收集系统Kafka,解决Storm框架处理文件数据时Spout不能并行化的问题;提出基于Spring的可插拔编程模型topology的实现方法,为Storm应用开发提供了一个一致性的编程模型,使开发人员能够借助Spring编程模型实现Storm应用;实现了K-Means算法并行化并移植到Storm运行,用于进行用户聚集度分析;最终设计了一套较完整的基于Storm的数据分析系统,用GPS数据进行分析并验证。
其他文献
本文针对当前新农村土地利用不合理的现状,以武汉市黄陂区雷段村为例,对其土地利用的适应性进行评价。选取一般农田、林果种植用地和居住用地为主要的用地研究对象,将坡度、
中国旅游产业是在改革开放后才逐步发展起来的,经过30多年的努力,中国成功地从一个旅游资源大国转变为世界旅游大国,旅游产业规模不断扩大,旅游产业在国民经济中的地位和对经
随着我国市场经济的不断发展,人们的生活水平不断提高。但是与此背道而驰的是,我国的食品安全问题却层出不穷,成为影响我国食品行业发展的一大瓶颈。也让公众对政府的公信力
近段时间以来,随着城市化发展的进程,许多原来在城市郊区的工业用地转变成了城市的中心城区建设用地。然而在满足更新城市的要求之下,这些工厂就必须面临着关停或搬迁。由此
就目前来看,世界已经进入到了数字化时代,对于传统的图书管理来说,媒介融合为其带来了一定的影响,首先从销售方面来看,通过网络营销,图书销售的方式更为便捷和快速,但是对于传统的营
随着世界范围内物联网的发展,该技术逐渐在医疗领域投入应用,并很快的得到了快速的推广。而在目前医疗物联网的应用领域中,无线电子健康(WeHealth)系统的研究一直走在前列,该
猪人工授精技术是人工方法采集公猪的精液,经过品质检查、稀释、保存等处理后,再将精液输入到发情母猪的生殖道内以达到受胎目的的配种方法.与自然交配相比,它具有提高优良公
网络营销经济是基于互联网技术发展起来的一种新经济模式,与发达国家相比,我国的网络经济发展还很滞后,主要受到网络营销经济方面的政策法规、安全保障、支付系统的完善、个
水利工程项目的质量关系到人民群众的生命财产安全,事关国计民生,并与社会稳定、国家安全紧密相关。水利工程项目的质量主要包括工作质量和工程实体质量,加强对各责任主体的
食品安全关系到广大人民群众的身体健康和生命安全,关系到社会稳定和经济的健康发展,关系到政府形象和国家名声信誉。食品安全已成为衡量人民生活质量、社会管理水平和国家法