基于神经网络的深度学习在许多不同领域的应用中取得了显著的成果,其中一个重要的原因就是神经网络是一种范逼近器。范逼近定理为神经网络的函数表达能力奠定了理论基础,但是如何选择适当的激活函数以及如何决策神经网络的深度与宽度是众多学者正在研究的课题。本文全面的介绍了神经网络的概念以及基于神经网络求解微分方程的算法,主要研究BP神经网络的激活函数、网络深度和宽度以及优化算法对函数逼近与微分方程数值解的影响。本文主要讨论了ReLU函数,Sin函数和Sigmoid函数作为激活函数对神经网络的函数表达能力的影响,证明了基于不同激活函数的神经网络逼近原理。借助TensorFlow深度学习框架计算数值例子,从数值计算结果中发现ReLU神经网络为分片线性逼近函数,其拟合效果较差,而且会出现大量“神经元死亡”现象。在深度神经网络中,Sigmoid神经网络会出现十分严重的梯度消失现象,而Sin神经网络可以有效缓解梯度消失现象,具有更好的数值结果;在求解偏微分方程时,通过对神经网络的输出进行调整使得神经网络能够自动满足初边值条件将大大提高数值解的精确度;本文通过证明了一类径向函数1（‖Ax+b‖<r）,x ∈ Rn能够被双隐层神经网络所表达,却无法被宽度低于O（ecn）（c为常数）的单隐层神经网络所表达来说明了深度与宽度对神经网络的影响,数值实验也表明增加深度确实比增加宽度更有利于神经网络的学习。本文在Adam优化方法的基础上提出基于误差指数平均的“早停”策略,使得误差在快速下降的同时避免后期训练带来的振荡现象。