十九世纪八十年代，Hopfield和Tank提出用人工神经网络方法求解线性规划问题，从此以后，这一领域的研究和应用得到了越来越多的关注。对比传统的优化算法，人工神经网络方法具有更多的优点，如收敛速度快(有时甚至可以达到指数收敛速度)，可以硬件实现和实时控制等。为了应用人工神经网络求解优化问题，它必须是一个完全稳定的网络，即网络的所有输出轨线必须收敛到一个稳定的平衡点或者平衡点集。因此，研究此类优化神经网络的稳定性和收敛性是非常必要的。 受系统扰动思想的启发本文提出了一种构造延时优化神经网络的方法，借助LaSalle不变原理及Lyapunov泛函方法，研究和证明了两类延时优化神经网络的全局稳定性和收敛性。数值仿真结果显示出此类神经网络比无延时神经网络具有更好的收敛性。 具体地，本文的研究内容及创新之处如下：一、对于某些约束优化问题，由于其往往对应一类变分不等式或者投影方程，因此我们建立了投影神经网络系统。在第二章中，借助能量函数和分析方法，我们研究了此类神经网络系统的全局收敛性，并且用它来求解某些非单调的变分不等式和投影方程。我们的理论结果改进和推广了以前的结论。 二、借助系统扰动的思想，我们提出了两类延时优化神经网络：延时Lagrangian神经网络系统和延时投影神经网络系统。在第三章中，应用LaSalle不变原理、Lyapunov泛函和线性矩阵不等式方法，我们研究了这两类延时优化神经网络系统的全局收敛性和全局指数稳定性，并且用它们求解某些约束优化问题。另外，通过数值仿真我们比较了这两类优化神经网络的收敛性，发现对于某些优化问题，延时神经网络具有更好的收敛性和更快的收敛速度。