基于Hadoop的电子商务推荐系统应用研究

被引量 : 15次 | 上传用户:jayngu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,通过网络购物已经成为许多的人的习惯,越来越多的电子商务网站进入人们的视野。由于虚拟货架成本低廉,一个大型的电子商务网站的商品数量比实际商场里面要多得多。电子商务网站一般都有搜索功能,但对于无法提供准确搜索关键词的用户来说,通过搜索找到需要的商品比较困难。电子商务推荐系统可以根据用户的历史购物行为或注册、浏览记录等主动向用户推荐其可能感兴趣的商品。电子商务推荐系统已经在亚马逊、淘宝等知名电商网站中得到了成功的应用。由于用户和商品数量的不断增多,传统的单机推荐系统已经不能够适应海量数据的计算、存储等需求,研究分布式的推荐系统成为近年来的热点。针对基于Hadoop的电子商务推荐系统这一课题,通过阅读大量的文献,分析了国内外研究现状及面临问题。对电子商务推荐系统常见的推荐算法进行了探讨,此外本文还对Hadoop平台的两大核心技术HDFS和MapReduce的工作流程和原理进行了介绍。针对传统电子商务推荐系统存在的问题,本文设计了基于Hadoop的电子商务推荐系统,系统具有较好的可扩展性和伸缩性,可以方便的对系统的计算和存储能力根据业务需求进行调整。为了解决电子商务推荐系统阶段性和突发性问题,在系统的架构过程中考虑了负载均衡技术。系统采用异步非阻塞模式的架构来将web服务器与实际的业务处理相关服务器分离以减小web服务器的压力。论文对HDFS存储小文件时的效率问题进行了优化,设计了基于HDFS和MySQL集群的存储系统。为了节省存储空间,对稀疏矩阵存储和并行化计算过程进行了设计。系统设计了多个推荐引擎,每个推荐引擎都有其适应的场景与需求,可以使推荐系统灵活的适应多种推荐场景。不同的推荐引擎的推荐结果也可以根据需要进行加权组合。对数据预处理、基于用户的协同过滤推荐算法、基于物品的协同过滤推荐算法和混合推荐算法的相似性计算和评分预测的并行化过程进行了设计,使之能够较好的运行在Hadoop平台上,实现分布式的推荐计算。通过GroupLens数据集,论文对设计的基于Hadoop的电子商务推荐系统进行了实验。从平均绝对偏差和加速比两个方面对并行化的三种推荐算法的推荐质量和Hadoop平台的执行效率进行了评估。实验结果表明混合推荐算法的推荐质量最好,基于物品的协同过滤推荐算法次之,基于用户的协同过滤推荐算法的推荐质量较差。通过加速比的实验结果可以分析得到基于Hadoop平台的推荐算法在处理海量数据时有较高的执行效率。
其他文献
能力的培养已成为国内外教育界普遍关注的热点问题。课堂教学是培养学生能力的主渠道 ,研究化学教学中能力主线的构建对促进课堂教学效益的提高和学生能力的发展将起到积极的
目的:观察复方玄驹胶囊治疗Ⅲ型前列腺炎的临床疗效。方法:选择符合美国国家卫生研究院(NIH)分类标准,诊断为Ⅲ型前列腺炎的患者242例,随机分为2组对照研究。治疗组121例,应
文章主要对一例“二奶”请求实现遗赠案判决结果作法理上的剖析,认为同居行为和遗赠行为是两个独立的民事行为,道德规范和法律规范是调整范围不同的两个行为规范,法院不能以
珍珠池与鱼池相比,溶氧含量的变化最大,且垂直变化珍珠池没有鱼池明显;氨氮的变化各不相同,高峰期亦不一样;透明度较低,2个珠池平均透明度分别为42.1 cm和23.6 cm;pH值较高;
培养学生的创新意识、创新能力和综合能力是现代教育的要求 ,也是化学教学改革的方向。探索化学教学内容的优化组织与设计 ,将从整体上提高课堂教学效益 ,不断完善学生的认知
自改革开放以来,大量外资企业来华投资,在中国经历了30多年的黄金发展时期。大多数的外资企业在中国以加工贸易为主,利用中国丰富的廉价劳动力和当地政府的各种补贴和税收优
加强和改进非公有制经济人士的统战工作,这是新时期提高党的执政能力、巩固党的执政地位的需要,也是构建社会主义和谐社会的需要。为此,政府要积极制定、落实和完善促进非公
霍布斯与洛克是古典自然法学派最具代表性的两位人物。他们自然法思想的形成与其所处的历史时期及社会政治、经济条件密切相关。霍布斯与洛克同属自然法学派,其思想有着共同
采用不同质量浓度壳聚糖(0.5%、1.0%、2.0%)分别添加0.5%淀粉、1.0%氯化钙(CaCl2)和1.0%抗坏血酸(AsA)作为涂膜剂,在(4±0.5)℃保存条件下对鲜切莲藕进行涂膜处理,测定鲜切莲
随着物联网技术和移动通信技术的飞速发展,基于移动终端和物联网的自动识别技术己成为当前研究的热点。二维码识别技术是一种全新的信息存储、传递和识别技术,已经迅速地融入