主分量和次分量神经网络学习算法及应用

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:gkchenvip
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
主分量的方向是代表输入数据矢量具有最大方差的方向,用主分量来表示数据矢量称之为主分量分析(PCA),而次分量的方向是输入数据矢量具有最小方差的方向。主分量分析和次分量分析(MCA)(PCA的互补部分)都是分析一个随机矢量过程相关结构的十分有用的统计技术,并已经广泛地应用于现代信号处理的许多领域,诸如高分辨谱估计、系统辨识、数据压缩、特征提取、模式识别、数字通信、计算机视觉等等。本论文主要研究了PCA和MCA的神经网络模型及有关快速学习算法,重点是并行多个分量提取问题,主要结果概括如下:1.根据最小二乘原理,我们提出一种PCA学习算法,我们称之为稳健的递归最小 二乘算法(RRLSA)。与以往的所有的线性PCA算法不同,该算法并不引入后向 传播误差来更新神经网络的连接权,而更象Hebb规则,仅仅用了相应神经元的 输入-输出之积,另外,RRLSA还引入了一个泄漏因子,因此,RRLSA也称为 泄漏Hebb规则。通过最优学习率的选择,我们建立了最小二乘准则与著名的Oja 规则间的联系。我们引入非归一化权矢量并证明了PCA所需的全部信息完全可 由该非归一化权矢量来表征,因此,非归一化权矢量比其归一化形式包含了更多 的信息。实验结果表明,RRLSA不仅克服了梯度类型Hebb规则收敛慢、失调大 的缺陷,而且对串行PCA算法中的误差累积效应也更具稳健性。2.通过引入一个加权矩阵,我们提出一个广义能量函数(GEF)来训练一种线性对 称神经网络。根据GEF,我们能够推导几种著名的PCA学习算法,如最小均方 误差重构(LMSER)和投影近似子空间跟踪(PAST),然而,更重要的是,我 们获得了一种RLS类型学习算法,它能够利用对称网络实现多个主分量的并行 提取。根据GEF,我们对加权矩阵是如何打破对称子空间规则而实现PCA的作 用给出了较清晰的解释。模拟结果表明,与著名的侧权连接学习算法相比,我们 提出的并行算法收敛快并提高了对输入过程特征分布的稳健性。3.我们提出一个加权信息准则(WINC)来搜索一个线性神经网络的最优权,理论分 析表明平衡点的最优解渐近收敛于输入过程的主分量。通过对平衡点稳定性分 析,我们建立了加权矩阵与输入统计特性间的关系,从而对加权矩阵的取值范围 给出了一个理论界限。基于WINC,我们提出两种能并行实现多个主分量提取的 学习算法,其中的RLS算法有低的运算复杂度O(Np)(N为输入矢量维数,p为 要提取的主分量个数),结果表明它对应一个三层线性神经网络模型,这个网络 有一种新颖的结构:其隐层具有较少的节点且节点间由固定权(加权矩阵)进行 简单的一对一连接,而且几种著名的主分量/主子空间分析(PSA)算法仅仅是n 摘 要 WINC算法在不同参数设置下的特例。模拟结果表明,WINC算法充分地改善了 并行主分量学习算法的数值性能。由于加权矩阵并不要求糟确设计,十分便于实 际实现,因此,该网络模型对实际应用更有意义。4.我们提出一个信息最小化准则并证明在次分量子空间该准则有唯一的全局最小, 基于梯度上升规则,我们提出一种自适应次分量提取(AMEX)算法,该算法能 实现多个次分量的并行提取而不需象以往的MCA X法那样耍采用dation过程。 AMEX算法具有一种可伸缩的灵活结构(类似于自适应格型滤波器的结构),即 增加或减少期望的次分量数目不会影响其前面次分量的提取。AMEX算法具有高 度的模块化结构,十分适合于VLSI实现。理论分析结果表明,AMEX X法能够 指数地收敛到期望的解,并给出了其指数收敛串。实验结果证实了理论分析的正 确性。5.我们提出一个能实现PCA和MCA的统一框架,证明了其全局稳定的最大点,权 矢量是输入过程的前尸个主分量,而其全局稳定的最小点,权矢量则是输入过程 的。个次分量。应用适当的梯度规则,我们推导了统一的PCA和MCA学习算 法:仅仅改变相应的符号,该算法即可分别用于多个主分量和次分量的并行提取。 通过Lyapunov函数方法分析了算法的渐近稳定性能,模拟结果验证了算法的有 效性。6.我们提供了几个应用(图像数据压缩、波达方向估计、杂波抑制)例子表明所提 出的算法的可应用性,重点研究了PCA算法在机载预警霓达杂波抑制中的应用. 基于广义旁瓣相消结构(GSC),我们研究一种特征子空间近似(ESA)空时自 适应处理(STAP)杂波抑制方法。与互谱降维STAP相比,ESA主要涉及杂波 相关矩阵的前尸个主特征值和特征矢量,运算量低并仁于用P CACAX法快速实现。 通过对多种性能指标的实验仿真,证实了该方法对杂波抑制的有效性。
其他文献
自21世纪以来,全球经常账户失衡日益成为一个突出问题,一方面表现为以美国为代表的发达国家经常账户常年逆差;另一方面表现为以中国为代表的发展中国家却常年保持经常账户顺差
汉中地区近代枕顶绣是民间刺绣中非常具有地域代表性的一个种类,它作为一门传统的手工技艺广泛流传于近代汉中地区的民众生活中,是汉中人民用勤劳和智慧创造出的宝贵文化遗产。
现代信息技术的发展正迅速改变着人类的社会生活和经济活动,互联网金融业务产生于传统金融业务中,随着时代的变迁、人们观念的转变以及现代信息技术的大发展,互联网金融业务取得
航天器的姿态测量问题是伴随着航天器的出现而产生的,姿态控制已经成为航天领域的一个主要研究方向。航天器姿态的实时测量对于姿控、导航、定位,尤其是遥感摄影测量都具有重要
立足于全国森林、湿地和野生动物自然保护区的有效管理与地区经济发展,总结保护区发展现状,并就影响保护区建设的自然、社会、经济等各方面因子进行总体评价和分类,找出其关键影
本文认为,马克思主义民族化的过程,就是各国马克思主义者把马克思主义普遍原理同时代特征和本国实际相结合,探索有本国特点的社会主义革命和社会主义建设道路,从而丰富和发展马克
电子标签系统最大的特点是采用射频技术非接触识别,以无线方式通信,因此可以同时识别多个电子标签及高速运动的电子标签。无须外露电触点,可以按不同的应用要求来封装,可以抵抗恶
金属基复合材料中基体与增强体的化学相容性,特别在采用液态制备工艺时,对最终复合材料产品性能有重要影响。从降低金属基复合材料的制备成本和资源再利用角度考虑,进行了飞灰增
现代的历史是乡村城市化,而不象在古代那样,是城市乡村化。城市化的发展是历史的必然。美国在成长的过程中也经历了乡村城市化的发展阶段。其中1870—1920年是美国城市发展的一
商业方法的可专利性一直是知识产权界的一个争议热点。虽然美、日、欧都陆续接受了商业方法专利,但他们各自对商业方法专利客体的审查标准和审查步骤也不尽相同。美国在Bilski