在许多机器学习问题中,往往需要解决大规模模型的最优化问题。最优化问题主要研究各种问题的优化途径及方案,在科学计算和工程分析中起着越来越重要的作用。近似牛顿法作为解决这一问题的有效方法,在计算机视觉、统计机器学习、生物信息和数据挖掘等领域都有广泛的应用。随着深度网络的快速发展,数据和参数规模也日益增长。近些年来,尽管研究人员在提升GPU硬件性能、完善网络架构和改进训练方法等方面均获得了很大的进步,但是在大型数据集上以单一机器训练深度网络模型仍然十分困难,因此,分布式优化及其在大规模深度网络上的训练一直是深度学习研究领域的挑战性问题。随着深度网络数据量和模型参数量的增加,传统的单机训练存在训练时间长,内存容量有限,而分布式优化方法可以很好的解决这一问题。因此,本文将分布式近似牛顿法算法引入到分布式神经网络研究中。该算法将总体样本平均分布至多台计算机,不但减少了每台计算机所需处理的数据量,而且利用计算机之间互相通信高效完成训练任务。首先,对分布式近似牛顿法同步策略进行Matlab同步并行仿真实验,在实验中均衡地划分数据集,并行地对数据集进行计算,在相同矩阵下,并行优化运行时间相比于串行运行时间大大减少,并且收敛性也能得到保证。其次,本文将分布式近似牛顿法用于训练深度网络。该算法使Parameter server集群中的各个Worker节点利用均等分配的本地数据完成计算,并与Server节点进行通信,得到同步优化的结果。利用分布式近似牛顿法训练相同的深度网络时,随着GPU数目呈2的倍数增加,训练时间呈近乎2的指数次幂减少。这与本文的最终目的一致,即在保证精度的前提下,利用现有分布式框架实现近似牛顿法的深度网络训练,提升运行效率。