径向基函数神经网络具有结构简单、学习能力快、收敛速度快、逼近性能强、无局部极小、便于实现以及鲁棒性较强等优点,在很多领域都得到了非常广泛的应用。针对目前径向基函数神经网络的研究现状,在深入地分析RBF神经网络基本理论的基础上,针对径向基函数神经网络在非线性信号处理应用中存在的问题,提出了两种基于RBF网络凸组合的新型网络结构。进一步研究其学习算法及其改进算法,并探讨了在非线性信道均衡、混沌时间序列预测、非线性系统辨识等方面的应用,主要内容如下：(1)系统地研究了径向基函数神经网络的基本理论及其在非线性信号处理领域的应用,重点研究径向基函数神经网络非线性自适应滤波器的应用。针对RBF网络自适应学习算法中固定学习步长对收敛速度和稳态误差的影响(即大的步长加快收敛速度但会产生更大的稳态误差,小的步长虽可降低稳态误差,但却减慢了收敛速度),结合凸组合的相关理论,提出了一种新型的基于两层RBF网络凸组合(CRBF)的非线性自适应滤波器。这种非线性自适应滤波器由两个不同步长的RBF网络的凸组合构成,每个RBF网络的参数(包括权值系数,基函数中心和扩展常数)的更新策略都是单独通过SG学习算法实现的。通过凸组合中的混合参数的方式,CRBF滤波器中两个RBF网络的优点都得以保留,即：大步长自适应RBF滤波器的快速收敛和小步长自适应RBF滤波器的低稳态误差。(2)针对前面提出的CRBF非线性自适应滤波器,推导出一种该新型结构适用的学习算法。该自适应算法能自动调整RBF网络的网络参数以及连接两个RBF网络的凸组合的混合参数。通过对其在非线性信道均衡、非线性系统辨识、混沌时间序列预测等三方面的应用进行评估,仿真结果表明,所提出的CRBF结构不仅能够缓解RBF网络收敛速度和稳态误差之间的矛盾,而且具有更好的跟踪能力。(3)针对提出的CRBF结构中凸组合的混合参数进行了详细的分析和研究,给出了相对应的自适应算法。该算法利用梯度下降的原理,对这些混合参数进行自适应的调整,使得最后组合的网络具有最优的特性。随后对其稳定性能进行了详细的分析,研究表明,这种RBF网络的凸组合的方式可以达到和最好的RBF网络组合同样好的性能,并且具有更好的鲁棒性和跟踪能力,更重要的是,这种组合结构和自适应算法,非常适合在线学习的方法。(4)对前面提出的CRBF网络的学习算法进行进一步的改进,提出了一种基于最小指数平方误差的学习算法。这种算法将原CRBF网络学习算法中小步长的RBF网络的误差代价函数替换为具有高阶统计量的指数平方误差代价函数,并利用梯度下降算法原理来对该网络的参数进行自适应调整。通过在非线性自适应信道均衡、混沌时间序列预测和非线性系统辨识等方面的应用和仿真,证明了这种算法无论是在收敛速度还是精度上都优于传统的RBF滤波算法及前面提出的CRBF滤波算法。(5)将基于两层RBF网络凸组合的结构进一步扩展,提出了一种基于多层RBF网络凸组合(MCRBF)的非线性自适应滤波器。这种非线性滤波器允许任意数量的独立RBF滤波器进行组合,每个滤波器使用不同的学习步长,通过自适应算法可以将不同的自适应步长调整到最理想的状态,这样可以克服收敛速度和精度所带来的局限性。通过这种方法,每个RBF网络将对非线性系统中的某种频率的变化有很好的跟踪能力,而所有的RBF网络的凸组合将对任何形式的变化都有很好的跟踪能力,从而提高整个MCRBF网络的滤波性能。本文将该结构应用到非线性动态系统的辨识中,针对不同的系统模型做了详细的研究和分析。仿真结果证明了MCRBF滤波器的有效性,同时表明它在收敛速度,稳态误差和跟踪能力等方面的整体性能都得到了提高。此外,自适应非线性滤波器的凸组合的应用给实际应用提供了进一步的合乎逻辑的研究方向。MCRBF滤波器也可以应用在其他的非线性信号处理领域。