随着社会智能化程度的提高,人工神经网络(Artificial Neural Networks,ANNs)的应用不断渗透到社会发展的许多重要领域.相对传统的人工神经网络算法,随机权网络(Random Weights Network, RWN)算法不但训练速度快,而且有较好的逼近性能.然而,由于随机权网络参数的随机选取使得该算法在理论与应用等方面均亟待进一步研究,这也引起了国内外学者的广泛关注,并形成一个研究热点.本论文采用正则化思想,结合压缩感知理论和著名的正交匹配追踪算法对随机权网络正则化算法进行研究,主要内容包括:首先,基于压缩感知理论建立新模型,用内点法得到稀疏的随机权网络结构.在充分分析神经网络外权固有的物理和现实意义基础上,本文建立了l2+l1模型.由于l1问题是一个NP-hard问题,该模型可通过对偶理论得到它的对偶问题,并用内点法在可行域内迭代搜索最优值.这种方法可以得到稀疏的外权,然后删掉系数为0的隐层节点从而达到简化网络结构的目的.其次,将正交匹配追踪思想应用到随机权网络.由于正交匹配追踪算法可以从字典中精确地挑选有效原子,它不但有收敛速度快的特点,而且所得的残差也很小.本文进一步把OMP算法应用到随机权网络中,应用所提出的新算法对目标函数进行逼近和学习.实验表明,这种新算法可以快速训练神经网络,并且神经网络结构比较简单.最后,将正则化随机权理论用于训练度量空间中的神经网络.本文提出用带有正则项的随机权网络学习度量空间中的样本,它使得随机权神经网络应用范围更广泛.