随着当前每种领域与互联网结合的程度越来越高,导致相互关联的数据如井喷式增长。怎么从茫茫多的数据中,快速得到自己真正需要的个性化数据已经变得像大海捞针。虽然各个领域中都有涉及到基于CF推荐算法,然而在海量数据的环境下,数据稀疏性、可扩展性的问题就会更加凸显,严重影响Slope One-BI算法的推荐准确性。由于单机迭代能力的瓶颈,Spark平台利用内存优势来迭代推荐算法能大大提高推荐效率。所以本文把改进的推荐算法在Spark平台实现并行化。基于Spark平台和相关的大数据技术,本文针对原始的Slope One-BI算法的推荐准确性不高、算法迭代速度慢和计算复杂度高等问题,做了以下研究:(1)提出了Canopy-k-medoids聚类算法在大数据平台上的并行化。先运用Canopy算法对数据集进行遍历得到相应的簇的个数和全局的中心点,接着用K-medoids算法计算到各个中心点的距离,进行数据对象的划分。最后用UCI数据集进行性能测试,在加速比和扩展比上都有一定程度的提高;另外跟其他三种聚类算法相比,聚类形成的效果最优。(2)通过结合Canopy和K-medoids的聚类算法把相似的用户汇聚到一起;然后,在所属聚类中根据用户之间相似度的具体情况动态的寻找最近邻,并用Slope One-BI算法推荐预测;最后,在大数据Spark平台上实现并行化。总之,本文从Slope One-BI算法存在的不足和单机迭代的瓶颈出发进行优化,加入了动态k近邻和Canopy-k-medoids聚类两种方法,改善了推荐的性能并降低了MAE值。