许多工程应用诸如信号处理,模式识别,最优控制等都可以抽象为优化问题,而且其中大部分为非线性优化问题。由于传统的拉格朗日神经网络模型并不能解决非凸优化问题,因此针对目标函数非光滑非凸的这一类非线性优化问题,通过改进传统拉格朗日函数,提出了两种不同的神经网络模型,并对这两种模型进行了理论分析和实例验证。首先借鉴罚函数的思想,基于拉格朗日乘子理论,提出了一种新型的拉格朗日神经网络模型。因为罚函数方法罚因子趋于无穷大时容易导致病态问题,且其收敛速度较慢,该模型针对此问题,设定固定的罚因子,且在传统拉格朗日函数的基础上增加惩罚项,既可以克服病态问题,又能使网络轨迹收敛加快。该模型能够找到优化问题的解,并且收敛轨迹最终趋于关键点集。然后实例验证此网络模型能够有效的解决此类优化问题。其次,通过引入一个带参数的等式约束相关项,基于拉格朗日乘子理论,构造了增广拉格朗日神经网络模型。该相关项并不影响求解原始优化问题的优化解,且其参数具有凸化目标函数和加快收敛速度的作用,该模型的收敛轨迹有限时间内必进入可行域且停留其中,且趋于平衡点集,而平衡点集又包含于关键点集。然后仿真实验验证了此网络模型解决此类优化问题的有效性,且通过改变相关项参数证实了该参数具有加快收敛速度的作用。