非凸优化问题即具有非凸目标函数或非凸约束集的优化问题。机器学习、压缩感知、数据挖掘等领域中许多重要的实际问题均可建模为非凸优化问题。然而,凸性的缺失给此类问题的算法构造及收敛性分析带来了挑战。近年来,非凸优化问题的算法探究吸引了学者们的广泛关注。神经动力学优化算法因其具有大规模并行计算的能力,可以更好地适应实时求解的需求。基于此,本文主要研究四类不同的非凸优化问题,并针对性地提出可以高效求解的神经动力学优化算法,具体研究内容如下。1.针对一类带有仿射等式及凸不等式约束的非光滑非凸优化问题,提出一种具有辅助函数的非自治神经网络。引入一个基于不等式约束域结构设计的辅助函数,借助于其良好性质,消除了许多文献中要求优化问题的不等式约束域有界及目标函数在等式约束域下方有界的限制。此外,证明了所提出的神经网络从任意初始点出发的状态解收敛于该非凸优化问题的稳定点集。特别地,当目标函数伪凸时,该神经网络的状态解全局收敛到相应的伪凸优化问题的一个最优解。2.针对一类带有非凸不等式约束的非光滑非凸优化问题,提出一种基于光滑化技术的神经网络。通过对目标函数进行光滑化处理,避免了已有文献中需要目标函数是光滑或非光滑正则的弊端。此外,为了克服约束函数非凸性带来的分析困难,引入了一个硬限幅函数。基于此,证明了该神经网络从可行域出发的状态解的任意聚点为所考虑的非凸优化问题的稳定点。当目标函数和不等式约束函数为一些广义凸函数时,证明了该神经网络的状态解收敛到对应的广义凸优化问题的一个最优解。与一些相关的神经网络相比,该模型不包含需要预先估计的惩罚参数,且不依赖于一些额外的假设条件,例如,目标函数强制;Slater条件成立等。3.针对一类约束复变量非光滑伪凸优化问题,提出一种复值神经网络。复数域结构的复杂性为复变量优化问题的求解带来了很多困难。目前,现有大多数的算法只局限于复变量光滑凸优化问题。本文基于CR微积分及非光滑理论,给出了有关复变量实值函数的非光滑分析。进而证明了所提出的复值神经网络从任意初始点出发的状态解均收敛到该优化问题的一个最优解。与已有相关复值神经网络相比,该神经网络适用性更为广泛且计算复杂度更低。4.针对一类约束分布式非凸优化问题,提出一种基于偏p-次幂重构的神经网络。首先,为了消除所考虑的非凸优化问题的对偶间隙,考虑对其不等式约束作用p-次幂变换。其次,基于该变换后的等价问题,给出一种分布式神经网络。证明了该神经网络的状态解是输出一致的,且局部收敛到所考虑的约束分布式非凸优化问题的一个严格局部最优解。此外,值得指出的是,该算法不需要智能体间交换各自的目标函数或约束函数等隐私信息,有助于智能体间的隐私保护。