论文部分内容阅读
当前已进入大数据时代,网络的普及和应用,也产生了大量的数据信息。用户如何进行信息甄别,快速找到自己所需的,有价值的信息,是互联网从业者们亟需解决的问题。为筛选出有价值的正确信息,推荐系统开始逐渐发展起来。推荐系统记录并收集用户历史行为信息,通过大量信息运算分析出用户与用户、物品与物品两两之间的相似度,进而筛选出用户可能感兴趣的物品,成为一种主动性强,智能程度高的信息筛选技术。当前,推荐系统日益成熟,在移动网络应用中已得到了普及,如当前最流行的社交软件、电子商务、音视频领域。推荐系统要能充分了解用户最感兴趣的内容、从而把握他的需求,并能从大量的数据中快速找到有价值的信息。推荐系统若是结合了基于大数据的分布式计算平台,数据分析能力会更为强大,处理效率也会更高。这也是推荐系统的功能定位,更是大数据技术在实践中的具体应用。在Hadoop平台之后,又出现了Spark平台,这是一款基于内存的分布式计算系统,比起Hadoop模型,设计思想更为先进,引入了迭代并行化理念,不管是性能,还是速度,都更为优越。本文的研究分为以下几个部分:(1)搭建基于Spark环境的数据仓库,以应用于推荐应用引擎中,为分布式数据的调用提供接口,并存储推荐系统离线计算所得到的数据、物品、用户信息,以及相关的评价信息。(2)3种基于Spark平台的推荐算法的实现,推荐系统根据其计算时长、难易度、更新频率等,分为在线与离线两种计算方式,利用数据集的准确度与响应速度两项指标,来测试推荐引擎的准确度与响应速度。本文对Spark分布式计算平台、几种主流的推荐算法和相关的应用场景做了全面的理论分析,基于各种算法的应用方法和使用场景,设计出基于混合推荐算法的电影推荐系统,并实现了具体的功能。为解决用户和物品之间存在的冷启动问题,系统会根据当前场景下信息存量情况,使用不同的推荐算法来推荐感兴趣的事物给用户。此外,该混合算法推荐系统能够很好地处理海量数据以及满足用户对系统响应速度的要求,提供了从前端应用、后台服务构建、算法设计实现、平台部署等多方位的闭环的业务实现,基本达到了预期目标,为设计其它的基于Spark平台的推荐系统提供了理论依据和技术支持。