实时求解线性方程及二次优化等数学问题在科学研究和工程应用的众多领域中频繁出现，这些方程能否快速、有效地求解是许多问题求解的关键步骤。其中一种对该类问题求解的重要方法是采用递归神经网络，这类方法具有并行处理及容易硬件实现等特点，因此，能很好地处理实时性要求较强，计算规模较大的科学及工程问题。　　 递归人工神经网络对该类问题的传统解法是通过负梯度法实现的，即梯度神经网络，该模型已经被证明在解决系数矩阵为常数的问题时，可以指数收敛到理论的解上。然而，现实中的大部分系统的参数都是随着时间推移而相应变化的。因此，有必要将定常问题扩展至时变方程求解的研究。通过理论分析及仿真验证，本文证明了梯度神经网络在求解时变线性方程及二次优化问题时始终存在着误差，并将该误差的上界及收敛到误差界上的理论时间估算出来。　　 由于梯度神经网络对时变线性方程及二次优化问题的求解不足。一种新型的递归神经网络因此被提出。本文将分析并证明这种新型神经网络在解决时变线性方程及二次优化问题具有全局指数收敛性及强鲁棒性。这些研究可帮助我们更好地理解递归型人工神经网络求解时变方程的过程；帮助我们发现各个设计参数与网络性能之间的关系；帮助我们解决对存在较大扰动时的网络模型该如何增强其鲁棒性等问题。