随着移动互联网、物联网、云计算等技术的快速发展,全球数据量呈爆炸式增长,大数据时代已经到来。“信息过载”是目前人们所面临的主要问题,在电商、音乐视频、新闻等领域频发这种问题。个性化推荐引擎是信息过滤的一种手段,在解决信息过载问题中具有重要的研究与应用价值。个性化推荐最常使用的推荐技术是基于协同过滤的推荐技术。但传统的协同过滤算法存在一些问题。为克服这些问题,本文对协同过滤算法进行改进,同时为了实现海量数据的处理,需要推荐系统结合大数据处理框架。Spark作为新一代的计算框架,非常适合迭代计算和流处理。因此,将Spark作为推荐系统的计算框架再合适不过。首先,针对传统协同过滤推荐算法在数据稀疏的情况下存在的性能缺陷和相似性度量方法的不足,本文改进得到一种基于多层次混合相似度的协同过滤推荐算法。该算法结合用户评分相似度、用户兴趣相似度和用户特征相似度等三个层次来度量用户之间的相似度,同时根据用户评论数量来动态调整权重,此外还改进了推荐策略。实验结果表明改进后的算法提高了用户的推荐精度,有效地缓解了这些问题所带来的影响。其次,为新用户和老用户提供了不同的推荐服务,老用户采用改进的算法和ALS算法来实现推荐;新用户则根据用户提供的信息采取不同推荐策略来实现推荐,同时解决了算法本身存在的冷启动问题。为更好地结合Spark平台,将这些推荐策略都并行实现,设计出了基于Spark的推荐系统。最后,对于推荐系统来说,能更快更好地提供推荐服务至关重要,为模拟实时推荐的过程,本文将Kafka集群作为消息的生产者,用于生产简单的用户信息,Spark Streaming流处理框架作为消息的消费者,为用户提供实时推荐服务,通过模拟实验,证明了系统推荐模块具有实时性。