基于受限玻尔兹曼机的深度网络逼近能力分析

来源 :北京工业大学 | 被引量 : 2次 | 上传用户:bascin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在数学中,神经网络的学习能力可以看作是一个函数逼近问题。基于这一观点,我们可以将深度神经网络视为一个函数逼近器。在实际应用中,有许多深层网络模型基于概率生成模型进行分析,并将神经网络的学习能力看作是一个概率分布逼近问题,即深度神经网络的输出可以近似于某个随机变量的概率分布。本论文从神经网络的理论研究出发,以现有的理论、方法为基础,对受限玻尔兹曼机(RBM)和深度玻尔兹曼机(DBM)的逼近性进行了分析。一般理论分析主要关注网络的逼近能力随着网络层数和神经元个数的增加会不断提高。而事实上,由于参数的增多会导致过拟合,因此更多的层数和神经元个数往往不是最好的选择。本文就这一问题展开研究,并给出了解释。一是解释了当RBM的逼近能力达到最优时,继续增加隐藏神经元的个数如何对RBM的逼近能力产生负的影响。另外解释了当DBM的逼近能力达到最优时,继续增加网络层数如何导致DBM的逼近能力下降。本文第一章介绍了论文的研究背景和意义,以及神经网络逼近性分析的国内外研究现状;第二章介绍了RBM、DBN和DBM的概念与网络结构,对RBM、DBN和DBM作为通用近似器作了详细介绍;第三章阐述了本文的主要结论与证明。
其他文献
机器学习分为三类:监督学习、非监督学习和强化学习。学习自动机(Learning Automata,LA)是强化学习中重要的一类算法。学习自动机通过与环境的交互,在不需要对环境有先验知识的前提下通过自主学习从环境的行为集中找出最优行为。学习自动机因其实现简单、理论完备以及抗干扰能力强被广泛应用于模式识别、通信等领域。由于实际应用的需求,针对新型的Top K学习自动机的研究逐渐开始。Top K学习自动
随着机器人技术的广泛研究与快速发展,各种功能的机器人陆续走进人们的视野。全向移动轮椅床是一种智能医疗护理机器人,即可以切换为床供人休息,也可以切换为轮椅用作移动工具。全向移动轮椅床具有灵活的运动性能,可以保持姿态不变而实现全方位的移动,在空间有限、狭小的工作场合具有更大的运动优势,但同时需要更高的控制精度与鲁棒性能,因此对全向移动轮椅床的运动控制研究具有重要的意义。本文以全向移动轮椅床为研究对象,
基于深度学习的图像修复方法是图像修复领域中的研究热点之一,但是该类图像修复方法在修复破损区域的时候,缺乏结构性约束导致修复的区域容易出现结构扭曲、结构断裂等情况。针对上述问题,本文以双鉴别生成对抗网络和模拟生成对抗网络为基础,并把结构约束方法引入了生成对抗网络,提出了两种改进修复算法:(1)针对生成对抗网络图像修复方法的修复结果在视觉连通性上存在结构扭曲,训练过程中易陷入过度学习等问题,提出了一种
21世纪的今天,随着科学技术的不断精进,信息沟通方式以及媒介的日益更新,使得新媒体背景下的社会大众生活得到了前所未有的改变,甚至我们的日常生活与新媒体已经达到了密不可
光栅是一种广为应用的重要光学元件,除了色散与分光作用外,还具有自成像功能与对一般物体成像功能。但平面光栅成像系统中普遍存在像散问题,严重影响成像质量。平面等周期光
学位
分数阶微积分是对整数阶微积分理论的自然推广,它对函数进行分数阶微分运算和分数阶积分运算。使用分数阶微积分来描述一些物理系统,能够表现出更加准确和更加简洁的优势,因此分数阶控制系统的研究已成为学术界的热点之一。与此同时,在对实际系统进行数学建模的过程中,控制系统由于各种原因(如测量精度的限制、复杂条件的简化)不可避免会存在不确定性,不确定系统的分析与综合也一直是控制理论研究的一个重点。本文将讨论不确
近些年,低维结构光电转换器件如纳米线电池及二维材料器件因其独特的光电等性质而备受关注,有望在新一代柔性化、微纳化及可穿戴化光电器件中发挥重要作用。然而当前还存在着
馈赠交换作为一种社会现象,普遍存在于人类社会之中。然而,在不同的文化母体中显现的馈赠情景也不相同,同时,馈赠交换呈现出文化行为与经济行为两大特征。通过解读和分析馈赠
在最不发达经济体中,能源的重要性不可忽视。因为自从过去几十年以来,大多数这些不发达国家都面临严重的能源危机,导致其产生许多社会经济问题。在所有这些国家中,巴基斯坦就