【摘 要】
:
当今社会,人们的生活水平逐渐升高,在消费者消费的同时,会留下相应的足迹,也会产生相应的记录。由于人们每天消费量巨大,会产生大量消费记录。若想从海量数据中快速分析出用
论文部分内容阅读
当今社会,人们的生活水平逐渐升高,在消费者消费的同时,会留下相应的足迹,也会产生相应的记录。由于人们每天消费量巨大,会产生大量消费记录。若想从海量数据中快速分析出用户最关心的消费品类和相关行为,用传统的分析方式已是很难满足需求。传统方法耗费时间长,难以实现预求效果。这些消费记录中包含了顾客消费的许多消费信息,如果通过特定的分析工具去分析这些数据,则会从数据中分析出许多有效信息,包括消费者的消费习惯、商品的销售情况等。现今流行的计算框架有Hadoop计算框架和Spark计算框架。其主要针对海量数据进行分析和处理,本文则是使用Hadoop中的HDFS和Spark计算框架对广大消费者的娱乐消费记录进行分析,得出其娱乐消费的实际情况。本文首先对大数据处理分析系统研究现状做了综述,介绍了相关的理论和技术;其次对系统需求进行了具体分析,从中得出系统的总体设计架构,系统主要功能包括聚合统计、随机抽取、Topl0热门品类和Topl0活跃session;然后,对获取数据算法的设计思路和系统主要功能进行了详细设计,并对数据库进行了详细设计;最后,搭建了系统环境并对获取数据算法和系统的主要功能进行了具体实现,实现完成后对其进行了功能性测试和非功能性测试。运行结果表明,系统完全可以正常运行,可以达到预期的目标。
其他文献
21世纪以来,新一轮科技创新浪潮方兴未艾,世界政治经济格局正在急剧调整和变化,全球创新空间和分工体系处于一次“大洗牌”的前夜。当前,全球高端生产要素和创新要素正加速向亚太
近年来用两个近红外光子作为激发光源的双光子荧光显微成像(TPFM)技术已经在生物医学研究领域显示出了巨大的应用潜力。与传统的单光子荧光显微(OPFM)技术比较而言,TPFM技术
基于LBSN(基于位置的社交网络)中数据的地理和社交属性,结合用户轨迹和好友关系,有助于提高不确定轨迹聚类挖掘的效率。根据LBSN用户的好友关系特征,引入评分函数,对用户影响
为解决物流园区物流资源要素分散和物流服务协同分配的问题,提出一种新的物流园区物流服务模式——云物流服务。将园区各类客户资源和物流资源抽象成虚拟的云服务资源,建立了
东海划界案 《联合国海洋法公约》于1982年12月10日开放签署,1994(年11(月16(日生效。我国于1996(年批准了《公约》,成为联合国海洋法公约的缔约国。我国国家海洋局和外交部从1996
在初中的语文学习中,阅读一直占据非常大的比重,无论是听、说、写,还是想、议、练,其基础在阅读,其成长在阅读。提高初中语文教学的效果,增强初中生学习语文的兴趣,丰富初中
<正>可以说,从单独二孩到全面二孩,中央领导、政府部门、退休老领导、两会代表、学者等,共同推动了这一场全世界瞩目的中国变革。2015年10月29日,"历史"似乎就在这一天忽然转
煤炭资源型城市是因煤炭资源的开发而形成、发展,以煤炭产业为主导的城市,在我国城市体系和国民经济体系中占有重要地位,抚顺、阜新、鹤岗、鸡西、大同、阳泉、淮南、淮北、
以1 726名中学生为研究对象,采用中学生心理素质问卷(简化版)、情绪调节量表和生活满意度量表,探讨中学生心理素质、生活满意度与情绪调节策略的关系。结果表明:(1)女生在心
随着现代化的网络技术不断普及,互联网对社会造成了不可小觑的影响。并且其传播速度极快且范围较广,使得基层政府的负面信息传播难以得到控制,给基层政府的形象建设带来了极