数据挖掘伴随着大数据时代的到来显得越来越重要,而聚类算法又是数据挖掘中极为重要的一个研究方向。同时,为了帮助用户在海量数据面前定位自己需要的信息,推荐系统因运而生,它可以针对每个不同的用户定制独特的个性化推荐服务,改善用户体验,提高用户使用粘度。而聚类算法和推荐系统相结合可使得推荐系统的效率有进一步的提升。本文重点对层次聚类算法及其在推荐系统中的应用进行研究。首先,为提高聚类结果的准确性,针对经典层次聚类算法CURE容易受离群值的影响以及离群值只能在聚类结束才能判断的问题,引入Z-Score来改进其离群值判断方法,产生改进的CURE算法,命名为I-CURE,该算法在迭代聚类计算过程中将点与点之间的距离存储到集合中,再计算集合内距离的平均值、方差、标准差,对超过限定条件的离群值进行筛选剔除,从而在聚类前中期就能更高效的筛选出离群值,提高算法的健壮性。其次,为了优化I-CURE算法的时效性,针对聚类算法需要反复迭代消耗大量资源的特点,利用Spark的RDD编程模型的可伸缩性和Map Reduce机制,对CURE算法计算过程做并行化,提升算法对数据的处理速度,使算法能够适应数据规模的扩展,提高了聚类的性能。最后,利用公开数据集对I-CURE算法及其并行化后的性能进行测试,并开发一个动漫推荐原型系统,将I-CURE算法应用到其中,验证本文研究成果的可用性。实验结果与应用结果均表明:本文所设计的I-CURE算法对比原本的CURE算法在聚类结果的准确性上有一定的提升,同时基于Spark平台的并行化对聚类算法的时效性有很大的提升。