推荐系统就是用来为用户推荐满足其需求或者服务的系统,能够作为用户与信息之间的纽带,提供给用户切实需要的信息。但是在推荐系统发展的过程中,也存在一系列的难题需要解决,例如系统响应速度问题,推荐结果准确度问题以及海量数据的处理与分析等问题。为了解决以上问题,需要对推荐系统进行不断的研究和升级,推荐系统需要保证较好的扩展性,能够随着业务需求的不断变化对系统进行调整和更新。另外还需要采用大数据处理相关技术来解决推荐计算过程的效率问题。Hadoop及Spark分布式处理平台是解决大数据处理的重要方案,能够通过分布式的计算与处理实现对海量数据的管理与分析。推荐算法是推荐系统的核心,推荐算法面临的最大问题就是用户-项目评分矩阵的数据稀疏性。在实际应用中,随着用户和项目的数目增加,用户-项目评分矩阵的稀疏度往往会超过97%,数据稀疏性成为了影响推荐准确度的最大问题,因此必须采取一定的方法来降低稀疏性对推荐结果的影响。此外随着数据量的不断增加,对于数据的处理过程也变得更加复杂。为了解决以上问题,本文对基于项目相似度传递的协同过滤算法进行了改进,用以解决数据稀疏性的问题,结合改进的隐语义计算模型,提高推荐结果的准确性,并通过实验证明了算法的有效性。论文首先描述了课题研究的背景及国内外研究现状,随后讨论了协同过滤算法的相关情况,分析了Spark大数据处理框架的相关技术。本论文的主要课题是从相似度传递和语义分析算法两个方面来改善推荐效果。在分析完相关算法之后,本文从推荐引擎总体框架、推荐引擎核心模块框架和推荐引擎设计三个部分对本系统进行了分析设计。为了证明推荐算法的有效性,本文还进行了大量的实验和测试。最后,本文利用所设计的基于Spark的大数据推荐引擎系统,结合电影网站推荐的现实情况,实现了一个电影网站的推荐系统。事实证明,基于Spark大数据处理的系统过滤推荐算法在电影网站上的应用取得了较大的成功,该研究具有良好的研究与应用价值。