随着大数据时代的到来,数据量与日俱增,推荐系统也迎来了发展和挑战。比如,推荐系统暴露出重合点数比例高、冷启动、数据稀疏性等问题。本文根据协同过滤推荐算法的特点,研究协同过滤算法中的各种推荐技术。针对上述问题提出了不同的解决方案,即相似度计算公式的优化。首先,为解决重合点数比例过高的问题,对协同过滤推荐算法的相似度计算公式提出两点优化。经过优化得到两个相似度计算公式:Euclidean-CPARW和Concurrence-RW。在MovieLens100K数据集上进行测试,使用均方根误差作为评价指标,公式Euclidean-CPARW的推荐精度比其他四种相似度公式的计算结果提高1%左右;公式Concurrence-RW使用准确率作为评价标准,推荐结果的准确率比其他四种相似度公式提高3%左右。其次,为缓和冷启动问题和数据稀疏性问题,提出一种优化的混合协同过滤算法。该算法结合了电影标签信息,基于优化的混合相似度公式BAJ-DCMS,通过评分表中共同评分的数量,自适应的选取一种利于当前评分数的相似度公式。公式BAJ-DCMS在MovieLens数据集上证明了算法的效果,使用均方根误差作为评价指标,计算出的推荐精度比其他两种相似度公式提高2%左右。最终,实现一个基于Spark大数据处理平台的个性化电影推荐系统。包括Spark大数据处理和Scrapy网络爬虫,推荐引擎采用前文叙述的优化的混合相似度公式BAJ-DCMS。系统框架使用SSM框架,数据存储使用数据库MySQL和分布式存储系统HDFS,通过Web浏览器与用户进行人机交互,通过Web可以看到为用户推荐的个性化电影列表以及每一部电影海报、主页等信息。