深度神经网络是由上世纪流行的人工神经网络发展而来的,是受生物大脑(无论是人类的大脑或者动物的大脑)启发而设计出来的系统。目前在很多领域(图像,语音,文本等等)有了很广泛的应用,在图像的识别和分类等方面的准确率甚至都已经超越人类。随着数字化时代的发展,越来越多的数据可以被获取,用于模型的训练。导致小的网络结构并不能很好的学习到这些“大数据”所承载的信息,因此神经网络的结构也变得越来越复杂,这样传统的基于梯度的训练方法开始暴露出一些问题。例如:梯度消失,梯度爆炸,对初始化权重参数的敏感等问题。而进化算法是目前最流行的基于种群的全局搜索方法,已经被用在浅层的人工神经网络的参数和结构学习上。但是对于深度神经网络来说,它的参数规模和结构复杂度都大大增加,传统的进化算法(EAs)在大规模的参数优化上同样面临的很多挑战。在这篇论文中,我们提出基于协同进化的深度神经网络的优化框架。首先将大的参数空间根据网络的结构特点分解成很多小的子任务,再通过改进的差分进化算法来优化这些小的子任务。并且在此基础上提出了两个优化策略大大减少了优化的时间,提高了算法性能。最后将提出的优化框架实现并行化,使得工业应用成为可能。本文的主要贡献体现在以下三个部分:(1)提出了基于协同进化的神经网络的优化框架。根据网络的结构特点,将权重参数按照隐藏层节点进行分割,将一个大规模的优化问题分解成了多个小的优化问题。再通过多轮迭代的方式来实现协同过程。在多种不同的数据集和不同的网络结构上进行了验证,均得到了较为满意的结果。(2)提出了一种基于反向传播和改进的协同进化(CC)的优化框架。由于基于随机梯度的反向传播算法(BP)是一种快速的局部搜索算法,我们用反向传播算法来引导整个优化过程,当误差函数的值在某个范围内波动时,我们开始启用协同进化算法,在协同进化优化结束之后,继续启用反向传播算法,这样交替迭代,直到优化结束。在此基础上,还提出了一种基于成熟度的选择策略,减小了需要优化的子问题的数量,使得整个优化过程的时间大大减少。最后在更大的网络结构上进行了验证,也得到了较为满意的结果。(3)设计了一种分布式框架来加速前面的算法框架。主要从反向传播方法和协同进化方法两个方面来同时并行,并且实现了同步和异步两种方案,在多种数据集上的多种网络结构上进行验证,优化时间大大缩短。