互联网技术的迅猛发展,使得互联网用户生产和面临的数据不断增加,从而使得人们面临“信息海洋”的困境。因此推荐系统应运而生,成为帮助用户在海量信息中过滤有效信息的首选方式。在推荐系统的实际应用中,由于原始数据高维稀疏,用户或物品相似度计算片面以及推荐结果实时性差等问题,使得用户的体验并不良好。本文为了更好地优化推荐系统,以大数据处理技术为基础对推荐系统的系统架构和推荐算法两方面进行改善。在推荐系统架构方面,以分布式系统架构Hadoop为基础,结合分布式存储系统HBase以及大数据计算平台Spark共同构建基于大数据平台的推荐系统。在推荐算法方面,通过综合分析各个推荐算法的优缺点及应用场景,提出了基于F2-LSHT模型的协同过滤推荐算法。本文研究的主要内容包含以下几个方面。第一,推荐系统和大数据处理技术的研究。本文首先详细探讨了推荐系统在系统架构和推荐算法方面的相关理论,为后文的系统设计及算法改进提供理论基础。然后,针对目前最为流行的两种大数据处理框架Hadoop和Spark进行深入剖析和对比,再结合推荐系统自身的特性,将两种大数据处理框架各取所长,设计出以Spark on Yarn为计算核心的大数据推荐系统,该系统具有高可用性、计算快速、维护成本低等优点。第二,数据采集系统的优化。本文通过自定义Source组件的Flume采集离线数据,Nginx直连Kafka的方式采集实时数据,两条采集线路为推荐系统的不同数据源提供了稳定、快速和易扩展的数据采集系统。第三,Spark核心组件分析,协同过滤算法的改进研究。首先探讨了Spark的核心组成技术Spark Core、Spark SQL、Spark Streaming、MLlib在实际应用场景下的综合使用方式。然后深入讨论了基于改进协同过滤算法的推荐系统,通过对用户数据的多维分析,确立了基于F2-LSHT模型的协同过滤算法,并结合Spark API予以实现。第四,搭建基于Spark on Yarn的推荐系统实现数据采集、数据存储和数据分析。首先将音乐推荐系统实验数据集Audioscrobbler输入到数据采集系统的源端,然后以推荐系统的计算核心Spark不断拉取采集到的数据并以Spark Streaming完成数据的异常处理和格式规整,最后将规整的数据输入改进的协同过滤算法计算推荐结果,为用户做出推荐。该推荐系统对于大多数业务场景具有良好的适用性和推荐性能,能够为互联网公司实现精准营销提供依据,并为后续研究推荐系统的人员提供一定的指导意见。结合本文推荐系统的性能表现可知,以Hadoop分布式系统架构为基础,再结合大数据计算平台Spark所构建的大数据应用方案,可以轻松应对海量数据的存储和计算。基于F2-LSHT-CF模型的协同过滤算法可以更加精准地实现推荐服务。