论文部分内容阅读
近年来,深度学习(Deep Learning,DL)的研究日益受到人们的广泛关注。与传统的浅层网络模型相比,深度学习模型的多层网络结构能够更加有效地表达复杂函数,从而学习到表征能力更强的特征,将深度学习应用到图像的分类中,可以有效地提高分类的精度。然而,深度学习在实际应用中仍然面临着严峻的挑战:深度学习的重要基础单元模型——受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)在训练过程中,存在计算复杂度高、模型对训练数据的似然度不够高等问题,导致深度学习模型训练时间较长。本文以深度学习算法为研究内容,以基于深层网络模型的图像分类方法为研究目标,主要作了以下几方面的工作:(1)介绍本文的课题背景和研究意义,阐述深度学习的发展历程、深度学习的基本结构单元以及深度学习常用的深度模型等相关技术,调研并分析国内外关于深度学习应用的研究发展现状,对RBM现存的问题进行分析。(2)针对受限玻尔兹曼机训练时传统学习率的收敛速度慢的问题,提出一种基于Kaiser窗的受限玻尔兹曼机自适应学习率调整算法,利用Kaiser窗可以自由选择主瓣宽度和旁瓣高度之间比重的特性以及训练过程中误差增量的变化给出学习率自适应变化公式,并设置误差控制因子和惯性因子,从而更有效地自适应调整学习率。仿真结果表明,基于Kaiser窗的受限玻尔兹曼机学习率调整算法,可以显著提高受限玻尔兹曼机的收敛速度和学习能力。(3)针对受限玻尔兹曼机训练时归一化参数的高计算复杂度问题,提出一种基于交替迭代算法的改进受限玻尔兹曼机,利用交替迭代算法将模型分布参数和归一化参数交替进行计算,通过反复迭代直至收敛来求得受限玻尔兹曼机的模型分布参数,同时设置相应的阈值来保证收敛速度。仿真结果表明,相较于并行回火、持续对比散度等算法训练得到的RBM模型,基于交替迭代算法的改进受限玻尔兹曼机对训练数据具有更高的似然度。(4)针对浅层模型无法有效地表达图像多层语义特征的问题,将深度学习算法应用于图像分类中,提出一种基于多层RBM网络的图像分类方法。同时,在多层RBM网络中引入数据加入噪声的过程和特征池化过程,避免算法对训练数据的过拟合,提高算法的泛化能力和鲁棒性。仿真结果表明,相较于深度信念网络、卷积神经网络以及稀疏编码等图像分类方法,基于多层RBM网络的图像分类方法提高了图像分类的精确度的同时,增加了模型泛化性和鲁棒性。