关于随机权网络的ℓ1稀疏正则化与Adaboost算法及其应用研究

来源 :中国计量学院 | 被引量 : 0次 | 上传用户:ddudi5460
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络(Artificial Neural Networks, ANNs)是理论化的人脑神经网络的数学模型,其已有相当广泛的应用.相对于传统的人工神经网络算法,随机权神经网络(Neural Networks with Random Weights, NNRW)算法不但训练速度快,而且逼近性能较好,因此,它越来越受到人们的关注,并已被广泛应用于各领域之中.  本论文首先分析了三种不同的稀疏重构算法在音频信号重构中的优缺点,这三种算法分别是正交匹配追踪算法、迭代收缩阈值法、增广拉格朗日乘子法.这一部分使我们深入理解稀疏重构算法.  然后,针对随机权神经网络算法,结合稀疏重构算法及集成学习的思想,提出了两种有效的算法——稀疏正则化算法和自适应的随机权神经网络算法.随机权神经网络虽然是一种有效的前馈神经网络(FNNs),尤其是内权和偏置值的随机选取极大地提高了网络的学习速率,并克服了其他学习算法的一些不足.但是,其在计算外权的过程中也存在着缺陷,比如稳定性较差,计算内存消耗过大.我们就此缺陷提出了一个新的算法——稀疏正则化算法.我们结合梯度投影算法给出了一种随机权网络外权的迭代解,并提出了相应的参数选择方法和算法终止准则.实验说明所提出的算法具有优势,尤其是当隐层神经元数较多和训练样本较大时,所给出的算法仍就可以计算外权,不仅有更好的稳定性还可以有效的避免过拟合现象.  最后,结合集成学习的思想,我们把随机权神经网络算法当作一弱分类器,给定对应的分布权值的迭代公式和误差公式,通过实验,验证了新算法可以大大提高原随机权神经网络算法在二分类和人脸识别中的训练和测试精度。
其他文献
该文主要研究拓扑度方法在时滞微分方程周期解问题中的应用.全文共分三章.第一章首先利用L-κ-集压缩算子的重合度方法研究了非线性算子方程的可解性,然后利用获得的算子方程
该论文主要研究了密码布尔函数的一些密码学性质,并得到了一些较好的结果.该文就根据Rao不等式分析了高阶相关免疫函数计数的性质,并得到了对于高阶相关免疫函数存在的一个关
该文仅讨论有限,无向,简单图.设G=(V(G),E(G))是一个图,其中V(G),E(G)分别表示图G的顶点集和边集.图G中一个与K同构的导出子图叫G的一个爪.爪中的3度顶点叫该爪的爪心.G中所
本文主要考虑了以下问题:Ⅰ.通过对KdV方程原有的Backlund变换进行修正,运用Hirota技巧,求出了KdV方程的某些新解.Ⅱ.从所求得的修正Backlund变换出发,通过对其中参数k的n次
本文研究当市场中资产的价格过程服从跳扩散模型时的期权定价以及具有成比例交易费的最优投资消费问题。与传统的扩散模型不同,跳扩散模型假设资产的价格过程同时收到布朗运动
学位
该文重点讨论了三角函数插值空间和S上的径向三角Lagrange插值公式,并且给出了S上的乘积型三角Lagrange插值公式.该文共分为四节.第一节是引言,介绍了多元插值和三角插值的背
Banach空间非线性算子方程f(x)=0的求解是一个概括性很强的应用数学问题.迭代算法是求解此类方程的主要方法之一.对迭代算法的局部行为分析一直是备受关注的研究课题.该文在
该文研究随机Taylor和Dirichlet级数的增长性以及随机Dirichlet级数的值分布性质.对更一般的非同分布的随机变量序列及在更广泛的系数条件下,证明了单位圆内的随机Taylor级数
该文构造了一类新的曲线,使它既保留Bézier,B-样条等模型的几何性质,又可以弥补一些它们的缺陷.该文利用多项式混合双曲形式在空间K=span{1,t,t,…,t,sht,cht}中构造了一组