本文主要研究面向噪声数据的正则化学习算法,并对随机权网络(NNRW)相关算法进行了改进.随机权网络算法具有快速学习能力以及强大的逼近能力,然而,当出现噪声数据时,其模型不具有稳定性和稀疏性,特别地,对于离群点(Outliers)并不鲁棒,甚至当训练样本集太大时,该方法可能无法求解.基于此,本文针对随机权网络算法展开了研究和讨论,主要包括基于随机权网络的l2-l1正则化学习算法研究,基于鲁棒建模的概率随机权网络算法研究和基于大样本数据的分布式近似牛顿型随机权网络算法研究.具体工作概括如下：1.我们提出了随机权网络的l2-l1正则化模型,旨在同时考虑随机权网络的稀疏性和稳定性.由于l1范数不可微使得l2-l1-NNRW模型无解析解,我们利用凸分析工具构造不动点迭代方法来求解该模型,从而提出了l2-l1-NNRW算法.在激活函数有界的约束下,我们从理论上证明了l2-l1-NNRW模型的收敛性、稀疏性和稳定性,保证了训练网络的有效性.实验结果表明,l2-l1-NNRW算法不仅能避免过拟,合,而且还具有较好的性能,且解具有稀疏性和稳定性.2.针对随机权网络对于离群点不鲁棒的问题,我们提出了一种新颖的概率鲁棒随机权网络(PRNNRW)算法,试图增强随机权网络对离群点的鲁棒性.其关键思想是利用离群点在样本中的最稀疏性,结合压缩感知理论提出了基于l1损失函数和l2正则项的鲁棒随机权网络.基于Laplace噪声分布及高斯先验假设,我们给出了鲁棒随机权网络模型的概率解释,利用Laplace分布的分层表示性质等价地转化成概率问题.为了求解概率鲁棒随机权网络模型,我们基于期望最大化(EM)算法设计了PRNNRW算法.实验结果表明,PRNNRW算法对离群点具有更好的鲁棒性.3.针对随机权网络对大样本数据无法求解的问题,我们提出了一种分布式近似牛顿型随机权网络(DANE-NNRW)算法,使得能够训练大样本数据.由于随机权网络对于大样本数据的不适用性,我们将样本首先分成若干个子样本集,对于每个子样本,建立一个局部学习模型.其关键思想是对于局部模型利用分布式近似牛顿方法,既考虑每个局部模型内部处理又考虑与其它局部模型之间的联系.根据Bregman散度和泰勒公式,得到了求解外权的DANE-NNRW迭代算法,并从理论上证明了其收敛性,从而保证了DANE-NNRW算法能够有效训练大样本数据问题.实验结果表明,DANE-NNRW算法对于大样本数据具有较好的效果.