近年来深度学习在许多领域都取得了优异的表现,如计算机视觉、推荐系统、自然语言处理等。尽管深度学习在应用上取得了极具价值的成果,但是它的理论仍然存在一些重要的问题尚未解决。其中,神经网络的表达能力（Expressive Power）,作为深度学习理论的重要组成部分,对我们理解深度学习起到了至关重要的作用。从函数逼近（Function Approximation）的角度看,神经网络的表达能力描述了神经网络逼近任意函数的能力。根据万能逼近定理（Universal Approximation Theorem）,只要单隐藏层网络的宽度足够宽,就能以任意精度逼近目标函数。在工业界,人们为了实现更高的准确率,使用的神经网络越来越大。这引起了我们对神经网络表达能力的本质问题的思考:对于一个给定的机器学习任务,在一个给定的网络大小下,最好的准确率是多少?准确率是如何随着网络大小提高的?用数学语言描述,对于一个目标函数,在给定的网络大小下最小的逼近误差是多少?逼近误差是如何随着网络大小减小的?另一方面,我们考虑SGD（随机梯度下降）等神经网络训练方法能否完全展现神经网络的表达能力,如果不能,实际中的逼近误差与理论上的有多大差别?针对以上问题,本文的主要研究内容如下:1.对于一个任意的单变量凸函数,介绍了用段数为n的分段线性（Piecewise Linear,PWL）函数实现最优逼近的充分必要条件。根据该条件,给出了最优逼近误差的上、下界和最优逼近速率。由于神经网络具有非线性的特点,我们分别给出了深度固定和宽度固定的Re LU神经网络结构用来生成最优逼近线段。解释了在该网络结构下的最优逼近误差的上界。2.针对最优函数逼近的理论,设计了一种算法得到最优逼近函数并解释了该算法的收敛性。通过实验验证了该算法的有效性并与传统的逼近方法作比较。我们验证了用SGD方法训练的神经网络不能达到理论上的最优逼近误差,说明了神经网络的表达能力还没有被充分利用。3.设计了一种划分线性区域的方法能够保证样本准确地被划分到所在区域。该方法用来计算神经网络各线性区域的平均逼近误差,说明不同网络结构的表达能力差异。4.对于高维函数,利用通过SGD方法训练的神经网络拟合一个确定的目标函数,计算该函数的拟合误差。对神经元数量相同的不同网络结构进行实验,验证了深层网络比浅层网络具有更强的函数逼近能力。