深度信念网络优化技术研究

来源 :中国计量大学 | 被引量 : 0次 | 上传用户:wanggang34320
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习作为一种新兴的深层次神经网络学习算法,通过模拟人脑的工作方式,构建含有多个隐藏层的人工神经网络模型,对输入的高维数据逐层提取特征进而形成抽象的高层表示,展现出强大的学习能力。深度学习以构建深层次结构化模型为目标,其隐藏层数最多可达几百上千层,这种多隐层网络结构用传统训练算法很难奏效,不仅因为训练样本数据量要求大,训练过程缓慢,而且其代价函数容易收敛到局部最小值,使得模型效果不佳。直到2006年,Hinton等人提出了深度信念网络,通过分层训练的方式解决了深层次神经网络难以训练的问题,并取得了巨大成功。深度信念网络具有优秀的特征提取能力,它是由多个完成预训练的受限玻尔兹曼机依次堆叠而成,无论在预测还是分类方面,都表现出绝佳的性能,被广泛应用于各个领域。尽管深度信念网络已经成功应用于多个领域,但它仍处在发展阶段,仍有大量工作值得进一步研究。目前深度信念网络缺乏科学有效的选取网络隐层数和神经元数目的方法,实际应用中大多依靠学者的经验来人工选取。如果选取的数值偏小,模型结构过于简单,拟合复杂数据能力有限,模型精度较低;如果选取的数值偏大,模型过于复杂,会造成模型训练困难,计算效率较低以及过拟合等问题,不利于深度信念网络的扩展应用。针对上述问题,本文进行了以下研究:(1)根据贪心算法思想,提出一种动态构建深度信念网络模型的方法:在从底层逐层构建深度信念网络模型的过程中,根据验证集错误分类率动态调整各层神经元数目,直到模型满足精度要求。最后,再微调各隐层神经元数目。(2)针对在依据重构误差构建深度信念网络模型时,模型隐藏层数往往偏大的问题;本文加以改进,根据加权误差来选择合适的网络隐层数;网络隐层数确定后,再根据渐增法或二分法确定合适的隐层神经元数目,以使模型结构更优。以上研究表明,深度信念网络模型可以依据此方法选择合适的网络层数和隐层神经元数目,优化模型结构,提高模型分类或预测的准确率。
其他文献
它们确实衰老了。机器的太阳能电池板上沾了灰尘,轮子出现了故障,“视线”也模糊不清了。它们原本只有3个月的“存活期”,那是它们的设计寿命,然而它们却“存活”了6年,而且还在火
精浆的主要成分是蛋白质、酶、脂质、糖和前列腺素、无机离子以及来自辅助性腺的因子,这些物质可以在精子的保存过程中起到保护作用。精液的稀释一直以精子数量为基础,忽略了
编辑同志:四个月前,我儿子在放学回家行至一座天桥时,见一辆小车从下面的高速公路经过,遂将一只塑料编织袋扔了下去,且刚好落在小车的挡风玻璃上。小车司机因突受惊吓,加之视
互通式立交入口区是影响立交整体运行可靠性的关键点段。为了减轻入口合流区的拥挤,提高互通式立交的整体可靠性,提高车辆行驶的安全性,在交通需求增大到一定程度时,要采用一些交
目的通过研究不同浓度的纳米银对C6胶质瘤细胞的作用,包括毒性、细胞形态、凋亡、细胞周期等相关实验检测,探讨纳米银对C6胶质瘤细胞的杀伤作用。方法1.利用CCK-8检测法评估
【摘 要】案例教学是一种教学方法和手段,将案例教学法应用到道德与法治中,能够提高课程的教学效果。通过应用一些比较贴近现实的手法来对学生进行正确的引导,引导学生形成正确的价值观,并能够懂得明辨是非。  【关键词】案例教学;道德与法治;应用  【中图分类号】G424.1 【文献标识码】A  【文章编号】2095-3089(2018)34-0085-02  案例教学是一种新的教学方法,通过在课堂教学过程
【摘要】当前,以多媒体计算机技术和网络通讯技术为主要标志的信息技术,对当代社会产生着重大的影响,改变着我们的工作方式、学习方式和生活方式。知识经济的来临,呼唤着教育必须进行创新和深刻的变革。同时也表明,教育的深刻变革,以信息技术和网络技术为核心的现代教育技术是突破口,勇立教育潮头的是现代教育技术。为此教育信息化是时代的需要。  【关键词】网络 课堂教学  【Abstract】at present,
对新建的放射性废液转运、暂存系统进行了介绍,分析了新建废液系统的主要改进点及设计阶段对方便设备维修或退役的考虑。重点对取样系统进行了分析,指出了原设计存在的问题并提
【摘要】语文是一门语言和生活教育,在语文这门学科的教学中情感因素的重要性非常突出,所以小学语文教学必须要注重情感因素的渗透。随着我国素质教育的不断深化,小学语文教学由原有的知识教学,逐渐转换到素质教学和情感教学,并且情感因素在语文教学中渗透,不仅能够丰富学生的情感体验,还能够促进学生的知识吸收,从而提升小学语文的教学效果。因此,本文从情感因素在小学语文教学中渗透的重要性出发,对其主要的渗透路径进行
如何对待科场怀挟是唐五代科举政策的一个内容,唐人对此的认识也处于探索阶段。允许考生怀挟书策被认为是唐帝国信心取士的体现,禁止怀挟也被认为是革除科场舞弊的重要手段。