非线性自回归模型（NARX）可以用来描述一大类的非线性动态系统,该模型的优点使研究者逐渐意识到其在描述复杂系统时的重要性。例如,该模型可以被描述为线性参数模型,因此目前已经存在的诸多方法都可以用来解决上述优化问题。当辨识NARX模型的时候,预先设定的字典矩阵通常包含很多的模型项,为了避免过拟合问题,在变量选择的过程中很多的模型项都不应该被选进最终的模型中。变量选择也被认为是系统辨识中最具挑战性的问题。本文针对NARX模型辨识过程中存在的关键问题进行了一系列研究。主要的工作总结如下:1.提出稳定正交回归方法（SOR）旨在建立一个具有更少或没有冗余项的简约模型。SOR方法的主要思想是首先利用正交前向回归方法（OFR）以及子采样技术产生多个中间模型,然后最终的模型取上述中间模型的线性组合但仅包含被频繁选择的变量。该方法的辨识结果不是十分依赖于停止条件,原因在于其模型选择的结果基于模型项的选择概率。本文对新方法进行了理论分析,而且利用仿真例子并通过与其他辨识方法的对比验证了新方法的有效性。2.提出一种新的贝叶斯增广Lagrangian方法（BAL）,目的是利用新方法解决加权l₁最小化问题以获得稀疏的模型同时减小计算量。为了实现上述目标,首先将原始优化问题转换成几个子优化问题分别进行求解,同时利用贝叶斯学习方法降低模型复杂度以避免过拟合问题。新方法的收敛性可以得到保障同时本文也给出了相关的理论证明。通过两个非线性仿真例子验证了本文所提方法的有效性。3.提出了一种新的方法旨在获得一个具有少量神经元节点的简化神经网络,但是与原网络相比仍保持相似的建模精度。首先,利用Matlab工具箱建立原始的神经网络模型,然后利用正交匹配追踪算法（OMP）选择重要的神经元并抛弃冗余的神经元,最终获得一个更加简约的网络模型。两个非线性仿真例子验证了新方法的有效性。