论文部分内容阅读
主分量的方向是代表输入数据矢量具有最大方差的方向,用主分量来表示数据矢量称之为主分量分析(PCA),而次分量的方向是输入数据矢量具有最小方差的方向。主分量分析和次分量分析(MCA)(PCA的互补部分)都是分析一个随机矢量过程相关结构的十分有用的统计技术,并已经广泛地应用于现代信号处理的许多领域,诸如高分辨谱估计、系统辨识、数据压缩、特征提取、模式识别、数字通信、计算机视觉等等。本论文主要研究了PCA和MCA的神经网络模型及有关快速学习算法,重点是并行多个分量提取问题,主要结果概括如下:1.根据最小二乘原理,我们提出一种PCA学习算法,我们称之为稳健的递归最小 二乘算法(RRLSA)。与以往的所有的线性PCA算法不同,该算法并不引入后向 传播误差来更新神经网络的连接权,而更象Hebb规则,仅仅用了相应神经元的 输入-输出之积,另外,RRLSA还引入了一个泄漏因子,因此,RRLSA也称为 泄漏Hebb规则。通过最优学习率的选择,我们建立了最小二乘准则与著名的Oja 规则间的联系。我们引入非归一化权矢量并证明了PCA所需的全部信息完全可 由该非归一化权矢量来表征,因此,非归一化权矢量比其归一化形式包含了更多 的信息。实验结果表明,RRLSA不仅克服了梯度类型Hebb规则收敛慢、失调大 的缺陷,而且对串行PCA算法中的误差累积效应也更具稳健性。2.通过引入一个加权矩阵,我们提出一个广义能量函数(GEF)来训练一种线性对 称神经网络。根据GEF,我们能够推导几种著名的PCA学习算法,如最小均方 误差重构(LMSER)和投影近似子空间跟踪(PAST),然而,更重要的是,我 们获得了一种RLS类型学习算法,它能够利用对称网络实现多个主分量的并行 提取。根据GEF,我们对加权矩阵是如何打破对称子空间规则而实现PCA的作 用给出了较清晰的解释。模拟结果表明,与著名的侧权连接学习算法相比,我们 提出的并行算法收敛快并提高了对输入过程特征分布的稳健性。3.我们提出一个加权信息准则(WINC)来搜索一个线性神经网络的最优权,理论分 析表明平衡点的最优解渐近收敛于输入过程的主分量。通过对平衡点稳定性分 析,我们建立了加权矩阵与输入统计特性间的关系,从而对加权矩阵的取值范围 给出了一个理论界限。基于WINC,我们提出两种能并行实现多个主分量提取的 学习算法,其中的RLS算法有低的运算复杂度O(Np)(N为输入矢量维数,p为 要提取的主分量个数),结果表明它对应一个三层线性神经网络模型,这个网络 有一种新颖的结构:其隐层具有较少的节点且节点间由固定权(加权矩阵)进行 简单的一对一连接,而且几种著名的主分量/主子空间分析(PSA)算法仅仅是n 摘 要 WINC算法在不同参数设置下的特例。模拟结果表明,WINC算法充分地改善了 并行主分量学习算法的数值性能。由于加权矩阵并不要求糟确设计,十分便于实 际实现,因此,该网络模型对实际应用更有意义。4.我们提出一个信息最小化准则并证明在次分量子空间该准则有唯一的全局最小, 基于梯度上升规则,我们提出一种自适应次分量提取(AMEX)算法,该算法能 实现多个次分量的并行提取而不需象以往的MCA X法那样耍采用dation过程。 AMEX算法具有一种可伸缩的灵活结构(类似于自适应格型滤波器的结构),即 增加或减少期望的次分量数目不会影响其前面次分量的提取。AMEX算法具有高 度的模块化结构,十分适合于VLSI实现。理论分析结果表明,AMEX X法能够 指数地收敛到期望的解,并给出了其指数收敛串。实验结果证实了理论分析的正 确性。5.我们提出一个能实现PCA和MCA的统一框架,证明了其全局稳定的最大点,权 矢量是输入过程的前尸个主分量,而其全局稳定的最小点,权矢量则是输入过程 的。个次分量。应用适当的梯度规则,我们推导了统一的PCA和MCA学习算 法:仅仅改变相应的符号,该算法即可分别用于多个主分量和次分量的并行提取。 通过Lyapunov函数方法分析了算法的渐近稳定性能,模拟结果验证了算法的有 效性。6.我们提供了几个应用(图像数据压缩、波达方向估计、杂波抑制)例子表明所提 出的算法的可应用性,重点研究了PCA算法在机载预警霓达杂波抑制中的应用. 基于广义旁瓣相消结构(GSC),我们研究一种特征子空间近似(ESA)空时自 适应处理(STAP)杂波抑制方法。与互谱降维STAP相比,ESA主要涉及杂波 相关矩阵的前尸个主特征值和特征矢量,运算量低并仁于用P CACAX法快速实现。 通过对多种性能指标的实验仿真,证实了该方法对杂波抑制的有效性。