随着互联网和信息技术的迅速发展和广泛应用,各种信息呈现在我们面前。面对日益增长的数据量,如何从中获取所需的信息已经成为一个非常严峻的问题。推荐系统是解决这个问题的有效途径之一,它可以通过分析用户的历史行为和偏好信息,建立模型,进行个性化的推荐。但是,现有的协同过滤推荐算法在推荐过程中暴露出许多问题,尤其是当用户和物品的数量不断增加时,推荐性能急剧下降。本文对协同过滤推荐算法进行了分析,并总结了各种算法的优缺点。针对现有算法的不足,提出了一种基于物品和Slope One的协同过滤推荐算法。该算法的核心是将物品间的相似度和Slope One算法结合进行评分预测。首先,用Slope One算法预测部分用户对物品的评分,填充评分矩阵,这样既可以解决数据稀疏性问题,又可以将预测结果作为最终结果之一。然后,将原有数据集和预测数据集结合形成新的数据集,计算物品间的相似度和平均偏好差异值矩阵。接着,用物品间的相似度作为Slope One算法的权值进行评分预测。最后,通过参数训练将两部分结果按不同比例结合形成最终的预测评分。为了提升改进算法处理海量数据的能力,本文在Spark平台上实现了Slope One、相似度算法以及改进的协同过滤推荐算法。同时,本文还在Hadoop平台上实现了改进的协同过滤推荐算法,方便比较两种分布式平台的运行效率。在标准的MovieLens数据集上进行了多次实验,实验结果表明,本文提出的基于物品和Slope One的协同过滤推荐算法能够提升推荐系统的预测精度。同时,与Hadoop平台相比,基于Spark平台的协同过滤推荐算法更适合处理海量数据。