基于Spark离线和实时的电商用户行为分析系统

来源 :电脑编程技巧与维护 | 被引量 : 0次 | 上传用户:xuguanghong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电商规模的逐渐扩大,传统的Hadoop资源利用率和计算速度都无法全面满足发展需求,因此提出将低延时、基于内存计算的Spark作为计算引擎。利用SparkCore、SparkSQL做离线分析、利用SparkStreaming做实时分析,将Hadoop分布式文件系统(HDFS)作为分布式文件存储,利用YARN做资源管理与程序调度,从而完成了一个电商的行为数据分析系统,通过Flume、Kafka等技术对数据进行采集及存储,利用Spark进行数据处理。经过测试,电商用户行为分析系统表现突出,具有良好的应用价值。
其他文献
新高考下,高中化学的实验试题占比愈来愈重,更关注学生的实践力考查,鉴于此,本文结合新高考下化学实验教学要求,结合一定的化学实验题目,对具体的实验解题思路进行了分析.
期刊
<正>“两个结合”是我们推进马克思主义中国化时代化的根本途径。坚持“两个结合”、推进理论创新,要把实现人民对美好生活的向往作为出发点和落脚点,不断回答新时代新征程提出的新问题,不断赋予科学理论鲜明的中国特色,谱写马克思主义中国化时代化新篇章。
期刊
目的 建立内控制剂消糖胶囊中主要成分盐酸小檗碱、葛根素和虎杖苷的含量测定方法。方法 用高效液相色谱法(high performance liquid chromatography, HPLC)对消糖胶囊中的盐酸小檗碱、葛根素和虎杖苷进行定量分析。用Kromasil 100-5 C18色谱柱(250 mm×4.6 mm, 5μm);以乙腈(A)-1 mL·L-1磷酸溶液(B)为流动相,梯度洗脱;流速
期刊
目的通过回顾性分析我科严重烧伤患者治疗过程中使用替考拉宁的经验,探讨替考拉宁在严重烧伤患者救治过程中的应用时机及应用方法。方法 200年以来我科共有10例严重烧伤患者救治过程中应用过替考拉宁抗感染,患者入院后早期应用广谱抗生素抗感染,伤后一周左右开始加用替考拉宁抗感染,中度感染首日使用量0.2g,1/12h,维持用量0.2g/日;重度感染严重者首日使用量0.4g,1/12h,维持用量0.4g/日,
会议
<正>在世界经济一体化发展的背景下,港口与腹地之间的关系变得越来越紧密,二者在经济发展过程当中的互动关系也越来越明显。在城市经济建设的过程中,港口发挥了重要的推动作用,同时也对周围地区行业发展起到了带动作用。与此同时,腹地经济也为港口的发展提供了动力支持。本文对港口经济与腹地经济之间的互动发展问题进行了分析与研究。研究发现,二者具有紧密的联系和相辅相成的关系。
期刊
<正>党的二十大报告第三部分,明确提出了新时代新征程中国共产党的使命任务。报告指出:“从现在起,中国共产党的中心任务就是团结带领全国各族人民全面建成社会主义现代化强国、实现第二个百年奋斗目标,以中国式现代化全面推进中华民族伟大复兴。”[1]紧接着,
期刊
报纸
报纸
新高考背景下,高中教学不再对文理科进行划分,为了全面落实“一核四层四翼”高考评价体系的要求,化学作为一门基础学科,“教什么,怎么教”,教师要根据学生实际情况,面对新高考模式也应开展新的教学实施研究,积极转化化学教学观念和教学方式,促进学生对化学这门学科的探索研究,从而达到“素养为本”的教育目标。
期刊
新课改深化背景下,培养学生核心素养成为高中化学教学教师中心任务。因此,对于高中化学而言,应当与时代需要相契合,应用针对性的方法,增强学生的核心素养。本文就此基于学生核心素养培养,对高中化学课堂教育策略进行分析。
会议