论文部分内容阅读
作为深度学习常见网络模型之一,深度信念网络得到国内外研究人员的关注,并被成功应用于图像识别、语音识别等领域。本文以深度信念网络为研究对象,探索结合数据特点的深度信念网络结构确定方法,在此基础上,重点探索基于深度信念网络的图像识别新方法和新技术,主要内容及工作包括:(1)简述深度信念网络及图像识别技术的国内外研究现状,分析受限玻尔兹曼机和深度信念网络的概念、特点、参数更新方法、网络结构及训练方式。在此基础上,讨论几种基于受限玻尔兹曼机和深度信念网络的改进模型,即稀疏受限玻尔兹曼机、卷积受限玻尔兹曼机、自适应深度信念网络和卷积深度信念网络。(2)针对如何在具体应用中结合研究对象构建合理有效的网络结构问题,提出一种基于贪婪思想的深度信念网络结构构建方法。该方法利用贪婪思想构建深度信念网络结构,即根据重构误差来确定第一个隐含层节点个数,依据识别率确定网络层数和其它隐含层节点个数,由此确定整个深度信念网络的结构。在ASL数据集、MNIST数据集和SVHN数据集等不同数据基准的仿真实验中,我们分别分析网络权重的不同初始化方法、学习率、以及损失函数中正则项约束对图像识别效果的影响。结果表明,基于贪婪思想的深度信念网络结构构建方法在图像识别应用中能获得较好的识别结果。(3)针对构建网络过程中,因网络层数增加而带来的梯度消失问题,提出一种耦合深度信念网络的图像识别方法。该方法首先使用基于贪婪思想的深度信念网络构建方法获得五层深度信念网络的结构;然后将“跨层”连接的思想引入到深度信念网络中,提出耦合深度信念网络的概念、结构及其参数更新方法;接下来通过对比具有最佳参数设置的深度信念网络与耦合深度信念网络的识别性能,分析“跨层”连接及连接中的主、次线耦合比例对网络识别性能的影响;此外,对比分析ASL数据集中各类手势的识别性能;最后,对ASL数据集和MNIST数据集的仿真实验结果表明,耦合深度信念网络在收敛速度和识别性能上不仅优于相同参数设置下的深度信念网络,而且优于基于卷积神经网络模型与栈式降噪自编码网络的图像识别方法。