协同深度学习(Collaborative Deep Learning,CDL)在推荐系统的应用,缓解了传统协同过滤方法仅使用评分矩阵作唯一信息源,在评分矩阵非常稀疏的情况下,性能表现急剧下降的问题。协同深度学习利用神经网络极强的特征学习能力和模型拟合鲁棒性,为推荐系统在数据稀疏的情况下提供了新思路。但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题。为解决上述问题,本文对协同深度学习及其并行化方法进行了深入研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐(CDL with Item private Node,CDL-i)。同时对算法进行并行化改进,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,实现分布式并行训练。本文内容主要分以下几部分:首先,介绍了课题相关理论,包括协同深度学习、自动编码机、概率矩阵分解;机器学习算法模型并行化现状与思想;以及基于Spark分布式框架的并行技术。其次,在CDL基础上对SDAE进行改进,提出了CDL-i模型,通过为项目增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能。再次,为应对越来越庞大的数据规模,本文基于上述改进算法,对模型进行拆分,提出一种并行化训练CDL-i的方法。通过类似EM的步骤,并行地对模型各部分参数进行训练优化,增强模型所能处理的数据规模和扩展性。最后,本文描述了并行CDL-i移植到Spark分布式平台下的实现,此过程中构建了一种基于Spark平台的机器学习框架,通过对实际机器学习流程的抽象,将繁杂的机器学习流程统一在一套Pipeline逻辑中,方便学习和使用。