为了研究解析方法无法研究的系统的复杂动力学行为，本文发展了系统动力学行为复杂性的计算机辅助判定理论和判定方法。动力系统动态行为复杂性的计算机判定是将计算机算法和深刻的数学理论结合起来对系统进行研究的新型方法，是一项相当困难的工作；其中，混沌性判定的难度很大，进行混沌性判定研究除了需要较深的动力系统理论以外，还需要大量的数值计算、计算机仿真和算法分析。 为了研究系统的混沌性，本文介绍了拓扑马蹄理论，然后根据拓扑马蹄理论提出了计算机辅助验证系统混沌性的系列算法，并应用于化学反应系统和神经网络系统的研究。本文给出了利用拓扑马蹄理论进行计算机辅助验证的一般步骤，并分别针对单螺旋混沌吸引子、双螺旋混沌吸引子、多螺旋混沌吸引子给出了寻找马蹄的一般思路，进一步，可以基于拓扑马蹄的寻找给出系统复杂性的定量描述。 为了更有效地研究系统的动力学行为，本文还对(不)稳定流形算法进行了研究，对现有的(不)稳定流形算法进行了改进，提出了两种新算法。新算法有利于降低误差、减少计算量。 利用以上理论和算法，本文分析了Hopfield神经网络系统、细胞神经网络系统和化学反应系统的几个模型。本文利用计算机仿真、Lyapunov指数计算、计算机辅助验证等手段对这些系统的动力学行为进行了研究，发现了丰富的动力学行为，比如：混沌、超混沌、极限环、二维环面等。本文在四维Hopfield神经网络和四维细胞神经网络中发现二维不变环面现象，并对二维环面的存在性进行了计算机辅助验证。同时，利用拓扑马蹄理论结合计算机辅助验证对系统的混沌性进行了判定。另外，本文利用Poincaré截面和Poincaré映射，对极限环的存在性、混沌系统中吸引集合的存在性进行了有效验证。 对神经网络系统和化学系统动力学行为的分析判定表明，本文提出的系统动力学行为复杂性的计算机辅助判定方法是高效可行的方法，可以对极限环的存在性、二维环面的存在性、系统的混沌性、吸引集合的存在性进行判定，并对系统的复杂程度给出定量描述。