基于Spark的混合模式电影推荐系统研究与实现

来源 :重庆大学 | 被引量 : 0次 | 上传用户:kzyzf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
推荐系统帮助人们在海量数据中获取感兴趣的信息,但传统推荐系统所采用的推荐算法在使用上都存在一定的缺陷,因此,在实际推荐系统中,大多是采用多种推荐算法结合的混合推荐技术,在推荐效果上要比单一推荐算法表现好。但随着互联网发展,数据规模急剧增长,单机推荐系统的性能越来越差,推荐系统迫切需要寻找新的解决方案来使其在数据量爆发式增长的环境下仍能维持良好的表现。同时,信息的发达使得人们有了更多的选择,推荐系统需要在不同应用场景下选择最适合的混合推荐技术,以提高推荐系统的推荐质量。针对上述问题,本文设计并实现了基于Spark的混合模式电影推荐系统,推荐引擎采用的是基于内容和基于联合聚类的交替最小二乘法(Alternating Least Squares,ALS)两个模式相结合的混合推荐技术,并将其在Spark平台上实现,使推荐系统在处理海量数据时仍能拥有良好的用户体验。本文的主要工作有:(1)对推荐系统、Spark平台、基于协同过滤算法、基于内容推荐算法、推荐性能评价指标等相关技术进行分析,提出本文推荐系统的设计思路。(2)针对传统推荐算法存在的冷启动、数据稀疏等问题,提出了一种基于内容推荐算法和基于联合聚类的ALS模型算法相结合的混合模式推荐算法。该混合推荐算法所支持的推荐引擎在面对系统新用户或新项目时采用的是基于内容推荐,能缓解协同过滤算法存在的系统冷启动问题。对于有一定数据量的用户,本系统采用基于联合聚类的ALS模型算法,该算法对解决数据稀疏问题能起到一定作用。该混合算法同时利用显示反馈和隐式反馈信息,可以更好的模拟用户兴趣,向用户进行推荐。(3)通过在MovieLens数据集上进行仿真模拟实验,利用对比试验对本文所提出的混合模式推荐算法的推荐效果进行测试,验证该混合模式推荐算法的有效性和可用性。实验结果表明,该混合模式推荐算法在推荐性能和推荐效果上均表现的较为理想。(4)根据本文所提出的混合模式推荐算法,提出基于Spark平台电影推荐系统的设计与实现方案,对系统的功能、流程和框架进行了详细设计与说明。该系统是基于Web服务的网页系统,用户在网站中浏览电影信息,系统根据用户分类对其进行推荐,根据用户评分更新数据,从而更新推荐列表,同时也对系统的主要界面进行展示。
其他文献
企业文化建设是促进企业发展的重要的环节,特别是精神文化建设尤其重要。而文体活动作为精神文化生活的主要体现,大力开展文体活动有利于增强员工活力、规范员工行为、加强人际
随着科技的发展,移动互联网在生活中是越来越普及。本文简要介绍了移动互联网和云计算技术,并阐述了移动云计算的定义。另外还根据当前移动互联网发展现状,研究了云计算技术
摘 要:司法实践中,非法经营汽油可能构成非法经营罪,而非法经营柴油是否构成非法经营罪一直存在争论。本文试从柴油与汽油法律文本中的区别、行政法规“二次授权”等角度厘清该问题。  关键词:非法经营罪;柴油;二次授权  一、案情介绍  2014年6月20日至7月13日,犯罪嫌疑人杜某、严某在明知没有销售柴油的相关证照等情况下,利用自制的油罐车,从他人处低价收购柴油,再转卖他人,赚取差价,销售总额7万余元
目的研究内源性IL-6对卵巢癌(ovarian cancer,OVCA)细胞体外增殖及锚定非依赖生长能力的影响并探讨其作用机制。方法应用前期建立的内源性过表达IL-6的人卵巢癌A2780细胞株和
  首先对中国土地复垦发展历程做一个回顾,介绍了土地复垦由初步形成概念、初步建立制度、到发展完善制度、发布技术标准的发展历程。目前,我国土地复垦工作虽然取得诸多成效
目的总结28例重症手足口病机械通气患儿并发应激性溃疡的急救与护理。方法62例重症手足口机械通气患儿均接受鼻饲营养支持,28例胃管内抽出咖啡色液体并发应激性溃疡。通过静滴
随着城市中的高层建筑逐渐增多,为了充分利用空间,高层建筑一般有1~3层的地下室,甚至有些高层建筑会建起4~6层的地下室。多层地下室的建立,工程在施工期间需要挖掘大量的深基
新会计制度的推进与实施,使财务管理发生了一些变化,如理念变化、管理模式变化等,这些变化使企业与单位内部的财务管理备受挑战,再加之企业与单位内部财务管理运行机制欠,内
梦想是梦与想的结晶。从某种意义上说:梦想是信念,使人生有了信心力量;梦想是欲望,使人生有了兴趣追求;梦想是目标,使人生有了发展方向。梦想具有"超前性、经验性、选择性、