近些年来,特别是2006年之后,深度神经网络(又被称为深度学习)迅速发展,在各个应用领域都取得了巨大的成功。从根本上讲,神经网络其实并不是一个全新的技术,它的很多模型和训练方法在20世纪90年代已经成型。但是,在当时神经网络并没有像如今一样被广泛且成功地应用。究其本质原因,2006年之后的深度神经网络取得的巨大成功离不开越来越多的层数(即深度)和越来越大的参数规模(即大模型)。为了有效地增加层数,诸如自动编码、批归一化、残差网络等技术被提出;为了高效地训练大模型,诸如数据并行、模型并行等并行训练框架被引入。尽管关于深度学习的研究十分繁荣,但是下述关于深度和大模型并行训练的问题还需进一步探索。第一,在深度方面,尽管有多种技术可以有效地增加神经网络的层数,然而一个重要的问题是如何从理论层面理解深度对于深度神经网络的利弊。第二,在大模型的训练方面,大多数并行算法都是从凸模型继承而来的。然而,深度神经网络是一个高度非凸模型。如何解决并行训练时模型非凸性带来的问题是一个重要的挑战。第三,与浅层模型相比,深度神经网络中的冗余参数非常多,这会导致并行训练时的传输代价非常高。因此,如何解决并行训练时参数冗余性带来的问题也是一个重要的挑战。为了解决上述问题,本文进行了如下几个方面的探索。第一,给出了深度神经网络模型空间容量和表达能力的通用上界,并基于这两个上界分析了深度对于神经网络的利弊,进而提出最大化间隔的方法来进一步提升深度神经网络的性能。第二,指出了非凸性会影响并行训练时模型整合步骤的性能,并提出了使用模型集成作为新的模型整合方式,进而设计了基于模型集成的并行训练框架来提高并行训练的性能。第三,提出了将基于轻量级传输的并行训练定义为一个多智能体系统,并给出了对于行为、环境及效用的具体定义。基于这个多智能体系统,设计了仅传输非冗余参数(或梯度)的策略来减小交互代价,从而达到了加速并行训练的目的。