基于Spark的混合推荐电影系统的设计与实现

来源 :广东工业大学 | 被引量 : 2次 | 上传用户:whimco1984
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前已进入大数据时代,网络的普及和应用,也产生了大量的数据信息。用户如何进行信息甄别,快速找到自己所需的,有价值的信息,是互联网从业者们亟需解决的问题。为筛选出有价值的正确信息,推荐系统开始逐渐发展起来。推荐系统记录并收集用户历史行为信息,通过大量信息运算分析出用户与用户、物品与物品两两之间的相似度,进而筛选出用户可能感兴趣的物品,成为一种主动性强,智能程度高的信息筛选技术。当前,推荐系统日益成熟,在移动网络应用中已得到了普及,如当前最流行的社交软件、电子商务、音视频领域。推荐系统要能充分了解用户最感兴趣的内容、从而把握他的需求,并能从大量的数据中快速找到有价值的信息。推荐系统若是结合了基于大数据的分布式计算平台,数据分析能力会更为强大,处理效率也会更高。这也是推荐系统的功能定位,更是大数据技术在实践中的具体应用。在Hadoop平台之后,又出现了Spark平台,这是一款基于内存的分布式计算系统,比起Hadoop模型,设计思想更为先进,引入了迭代并行化理念,不管是性能,还是速度,都更为优越。本文的研究分为以下几个部分:(1)搭建基于Spark环境的数据仓库,以应用于推荐应用引擎中,为分布式数据的调用提供接口,并存储推荐系统离线计算所得到的数据、物品、用户信息,以及相关的评价信息。(2)3种基于Spark平台的推荐算法的实现,推荐系统根据其计算时长、难易度、更新频率等,分为在线与离线两种计算方式,利用数据集的准确度与响应速度两项指标,来测试推荐引擎的准确度与响应速度。本文对Spark分布式计算平台、几种主流的推荐算法和相关的应用场景做了全面的理论分析,基于各种算法的应用方法和使用场景,设计出基于混合推荐算法的电影推荐系统,并实现了具体的功能。为解决用户和物品之间存在的冷启动问题,系统会根据当前场景下信息存量情况,使用不同的推荐算法来推荐感兴趣的事物给用户。此外,该混合算法推荐系统能够很好地处理海量数据以及满足用户对系统响应速度的要求,提供了从前端应用、后台服务构建、算法设计实现、平台部署等多方位的闭环的业务实现,基本达到了预期目标,为设计其它的基于Spark平台的推荐系统提供了理论依据和技术支持。
其他文献
农民增收难这一问题的解决关键是农民生产的农产品顺利出售和增值,解决这一难题的根本途径是大力发展农产品加工业。在全国、全省积极推动农产品加工业发展的过程中,由于认知
数学是一门知识点具有抽象性与逻辑性的综合学 科,培养学生数学思维、发展计算能力是教师教学的首要任务。 在新课程标准要求课堂教学要基于发展学生学科核心素养的 大背景下
<正>全国政协委员姚明在体育界小组讨论会上说:"说某人语文不好,会说‘你的语文是体育老师教的’,这是个笑话。但实际情况是,有很多孩子的体育真是语文老师教的。"本次"两会"
(一)进一步解放思想,下大决心,加大优化发展环境力度(二)从细微处着手,进一步提高政府部门的服务质量一是要加强对一线办事人员的素质教育,规范办事行为,公开办事程序、办事
在学习和理解高中化学学科核心素养的基础上, 笔者结合自身工作心得及高中生特点,从化学核心素养中的科 学素养的内涵、养成的必要性和实践策略等方面进行阐述。
征编出版文史资料专辑,为发展县域经济提供借鉴。大冶市政协文史委收集整理市政协常委、澳门宣道堂中国爱心工程基金会主席、基督教会宣道堂港澳区联会主席蓝钦文先生情系灾
各位委员、各位同志:中国人民政治协商会议湖北省第九届委员会第二次会议,经全体委员共同努力,圆满完成了各项议程,今天就要胜利闭幕。这次大会是在全省上下深入学习"三个代
《中共中央关于加强党的执政能力建设的决定》,坚持以马克思列宁主义、毛泽东思想、邓小平理论和"三个代表"重要思想为指导,全面贯彻党的基本路线、基本纲领,深刻阐述了新世
文章主要讨论了XML技术在信息组织领域的某一个方面应用,即XML用于主题图的实现,或称为XTM技术。它是使用XML语法来处理主题图中数据的一种方法。围绕该主题,文章介绍了XTM标准
文章首先介绍了干扰的产生机理、种类,不同系统共站的隔离准则、隔离度计算方法,以及系统问干扰的解决办法,然后针对WCDMA与GSMl800系统共存的干扰情况进行分析,最后提出了预防干