基于Hadoop的协同过滤推荐系统研究与实现

被引量 : 15次 | 上传用户:mengshenabc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,随着中国互联网的崛起,网络应用越来越多样化,大量的产品和信息同时呈现在用户面前,导致了信息过载现象的出现,个性化推荐是解决该问题的重要方法。协同过滤推荐方法是当前在实际系统中应用最多的个性化推荐方法,它基于群体的偏好来为用户提供推荐。当前对协同过滤方法的研究大多侧重于单机算法的设计与优化,旨在提高推荐的精准度。但是面对日益增多的用户、急剧增加的数据量,通常的算法都会遇到严重的计算扩展瓶颈,这使得协同推荐方法难以在实时性和可用性要求高的大型线上系统中使用。因此,应考虑使用并行方法改进协同推荐算法应对大规模数据的能力。本文对基于Hadoop并行计算框架的协同过滤推荐系统的设计与实现进行了研究。首先对协同推荐系统和Hadoop平台的相关概念进行了介绍,包括推荐系统的构成、常见的协同推荐算法、以及Hadoop存储和计算并行化的原理;其次介绍了推荐数据预处理流程的并行设计,阐述了基于用户、基于物品和基于主成因分析的协同方法的并行实现方案;再次,详细介绍了推荐结果评估方法的并行方案,并对并行协同推荐算法的性能和推荐质量进行了验证;最后,结合提出的基于Hadoop的协同过滤推荐算法,设计并实现了一种在线电影协同推荐系统,用以模拟并行协同推荐方法在实际场景中的应用方法,并从云平台优化角度进一步提升协同过滤推荐系统的性能.。实验表明,将Hadoop技术应用于协同推荐推荐系统的实现,提升了协同推荐方法应对大规模数据的能力;对推荐系统云平台层的参数优化,更进一步提升了推荐系统的离线处理性能。
其他文献
随着教育信息化的不断推进,教育改革发生了深刻的变化。教师专业发展是教育改革的核心组成部分,在基础教育中,为了促进中小学教师发展,培养一批思想水平高、业务能力强的教师
随着接入技术的不断增强,物联网得到了迅速的发展。未来将有越来越多的设备需要接入网络,这些设备及由设备产生的信息都是物联网中的资源。考虑到设备的多样性、差异性及产生
面对国内运营商中频发的信息泄露事件,传统的数据管理方式已经无法满足复杂流转场景下的安全需求。因此运营商急迫需要对组织内的数据进行梳理,并以此为基础建立一套完整的数
在收集有关电厂东方200MW 火电机组运行记录的基础上,运用发电设备可靠性统计评价理论,对该型火电机组的可靠性作了统计评价的偿试,初步得出了一套该型机组的可靠性参数.
本文分析了目前内部审计存在的问题,如机构不稳定,人员素质仍需要提高,职能发挥尚不全面等。针对这些问题提出了强人内部审计的思路:提高内审地位,强化监督职能,提高人员素质
<正>人教版普通高中课程标准实验教材《语文》必修五第十一课选了梁思成先生的《中国建筑的特征》这篇文章。在教学中我发现该文有几处小小的失误,现简析如下,以求教于大方之
泌尿系结石的微创治疗是利用光学、电学、力学等原理结合腔镜技术如肾镜、输尿管镜、膀胱镜、腹腔镜等达到击碎结石或取出结石的目的。近年来,随着各种腔镜器械的推陈出新以
面对成品油经营主体日益增多,油品来源趋于多元,质量参差不齐的情势和企业应对质量风险准备的不足,在对不同来源油品质量指标进行全面汇总,统计分析,对油品购、储、运、销各
随着移动互联网的不断深入发展,移动智能终端设备已经在人群中得到迅速普及。而Android系统在移动互联网中庞大的市场占有率及其相对开放的特点,使得Android平台成为了木马侵