【摘 要】
:
大数据下基于Hadoop平台构建的电商推荐系统存在着计算缓慢、无法根据用户实时行为作出推荐的问题。针对以上问题,设计和实现基于Spark平台的电商实时推荐系统。与Hadoop平台
【机 构】
:
上海海事大学信息工程学院,上海海事大学交通运输学院,上海纽盾科技有限公司研发部
【基金项目】
:
国家自然科学基金(No.61562056);教育部人文社科青年基金资助项目(No.13YJC630210);2014年上海市科技型技术创新基金项目(No.1401H164800);上海市杨浦区国家创新型试点城区建设与管理专项资金项目(No.2015YPCX03-002)
论文部分内容阅读
大数据下基于Hadoop平台构建的电商推荐系统存在着计算缓慢、无法根据用户实时行为作出推荐的问题。针对以上问题,设计和实现基于Spark平台的电商实时推荐系统。与Hadoop平台构建的推荐系统相比,系统首先基于Spark平台构建了分布式日志采集模块和分布式日志数据传输模块,用于采集和传输用户隐式行为日志,解决电子商务跨系统数据源收集问题;其次在统一数据源的基础上,采用基于Spark的矩阵分解推荐模型进行离线训练,提升离线推荐训练的效率;进而在离线推荐的基础上,提出一种使用Spark Streaming实时流技术对电商日志数据做实时过滤,获取用户当前所需商品,并将离线推荐结果与实时推荐结果通过统一介质融合的方案,实现对用户隐式行为进行实时推荐反馈的功能。最后经实验证明,基于Spark平台的电商实时推荐系统相对于Hadoop平台的电商推荐系统具有更高的可靠性和稳定性,能够承载大规模数据量,离线推荐训练速度相对于Hadoop平台提高10倍,并且对用户的实时行为也能够作出实时推荐反馈,提升5%的交易转化率,增强电商网站的用户体验。
其他文献
<正>随着社会经济的快速发展以及全球化竞争时代的到来,越来越多的企业人力资源管理者开始逐步认识到员工心理资源是组织获取竞争优势的又一重要来源。众多研究也表明,员工优
<正>"华盛顿合作规律"说的是:一个人敷衍了事,两个人相互推诿,三个人则永无成事之日。多少有点类似我们的"三个和尚"的故事。人与人的合作不是人力的简单相加,而是要复杂和微
目的分析延续护理对糖尿病患者生存质量的影响,为临床护理提供参考。方法选择我院于2015年2月至2015年8月收治的120例糖尿病患者作为本次研究观察的对象,采用信封随机方式将1
在总结海洋文化产业发展研究理论的基础上,深入论述了舟山群岛海洋文化资源的类型和优势,对舟山群岛海洋文化资源利用状况及问题展开分析,基于要素禀赋理论对主要海岛进行合
大众文化强势来袭,对比之下精英文化生存空间狭小逼仄,两者形成了巨大的文化势差,精英文化从强势文化变成了弱势文化。笔者从文化势差的概念入手,在理论上探究当下主要文化形
<正>穿越长长的时空隧道,十年弹指一挥间飞逝而过。当我们回首紫金矿业十年征程时,碰触岁月的记忆涌上心头。一这几乎是一个改写了中国矿业史的关键时刻。2003年12月23日,富
阿瑟·米勒在《推销员之死》一书中塑造的的主人公威利·罗曼呈现出扁平人物的特征,然而,并不是传统意义上的单薄的扁平人物,而是带有圆润化的趋势,对扁平人物的塑造手法既有
工业旅游是社会发展到一定阶段的产物,是随着旅游业发展而产生的一种新兴旅游项目,是工业与旅游业融合而形成的一种新型业态。半个世纪以来,工业旅游在一些发达国家方兴未艾,