自深度学习模型在ImageNet 比赛上以惊人的性能引起广泛关注以来已有十年时间。深度神经网络在计算机视觉,语音处理,自然语言处理,搜索,计算广告学乃至推荐系统等多个领域都取得了巨大成功,推动了人工智能的快速发展。与此同时,深度学习的黑箱特点让研究者仍然无法从科学的角度理解深度神经网络的学习机理。深度学习的黑箱难题一方面使得深度学习面临对抗样本等问题的挑战,另一方面也使人们无法有效地来选择模型结构以及提高深度学习的准确率与鲁棒性。本文基于非凸优化方法,研究深度神经网络的优化性质,泛化能力,其损失函数曲面的性质,以及可证明的学习能力。通过可证明的方法,本论文研究了异步并行优化的并行节点上界,证明了跨层连接等结构对损失函数曲面的改良能力,并给出了线性的以及带ReLU激活函数的RNN的网络在机器学习中的可证明学习能力,分析了模型的采样复杂度和时间复杂度。本文的主要创新工作如下:（1）针对基于梯度下降的非凸优化问题,研究了在非凸优化中非常重要的二阶稳定点,即鞍点逃离问题,给出了非凸情况下异步随机梯度下降算法的时延上界。在给定的时延上界以下,证明了异步随机梯度下降算法可以在保证线性并行加速的条件下找到二阶稳定点。从而为自第一原理方面理解大规模多机异步优化算法提供了保证,为了异步并行优化算法中的参数设置以及设计新的异步并行算法提供了坚实的基础。（2）一般认为利用ResNet中的跨层连接可以阻止梯度消失并防止多层网络的退化,但由于深度神经网络的非凸性,这一论断很难得到严格证明。本文针对跨层连接结构,分析了带跨层连接的多层深度神经网络的损失函数曲面。利用提出的下水平集方法,分析了多层神经网络的局部极小值的深度,证明了利用带跨层连接的结构堆叠出来的神经网络的损失函数曲面性能几乎严格比更低层的网络要好。从而证明了跨层连接可改良多层神经网络的损失函数曲面。该结果为ResNet结构的非退化性给出了理论依据,为基于跨层连接来设计新的网络结构提供了基础。（3）递归神经网络和递归结构是深度学习中非常重要的部分。但即便是对于最简单情况下的RNN,其学习能力也很难从理论上进行证明。本论文研究了线性RNN的学习能力问题,给出了一个新的随机初始化方案,并证明在给定的随机初始化条件下,利用梯度下降,过参数化的线性RNN可以以任意小的泛化误差来学习任意的谱半径为ρC＜1的稳定线性动力系统。并且其采样和时间复杂度至多为1/1-ρC的多项式大小,这一结果证明了最一般的情况下的线性系统辨识问题,为深度学习设计递归结构提供了理论保证。（4）针对时间序列和自然语言处理中常用的基于ReLU激活函数的RNN网络,研究了非线性RNN的学习能力。证明了在输入为序列X1,X2,…XL的情况下,RNN可以学习到两类非平凡的目标函数,分别为加性概念类和N变量概念类,并且证明了对于这两类函数,其采样和时间复杂度多项式为输入的长度L的多项式大小,可以有效地达到任意小的泛化误差。本文的结果从理论上给出了非线性RNN的学习能力,从而为根据任务的特点来为自然语言处理和时间序列等任务设计神经网络应用提供了理论保证。