论文部分内容阅读
最近数十年以来,人工智能相关领域的研究取得空前的进步和发展,深度神经网络模型已成功应用于模式识别和计算机视觉等各个领域。深度学习模型的学习能力的快速提高主要是因为逐层训练算法的提出,目前最广泛采用的深度学习算法是受限玻尔兹曼机组成的深度信念网络的逐层训练算法。但是如果只是利用受限玻尔兹曼机提取原始数据的特征会产生冗余。研究如何减少冗余学习抽象特征,使模型具有更好的泛化性能对人工智能的发展有着很强的现实意义。本文通过对现有的深度信念网络模型的训练算法进行改进,提出了基于多目标优化的稀疏受限玻尔兹曼机的训练算法,实现稀疏特征学习并避免了权重参数选择。并且利用GPU并行实现稀疏深度信念网络算法,降低了训练时间。本文具体工作如下:(1)为了减少深度信念网络模型中存在的过拟合问题,本章提出了基于多目标优化的稀疏受限玻尔兹曼机训练算法学习原始数据的稀疏特征。基于训练函数和隐单元的一范数两个函数建立多目标优化模型,从而避免了稀疏规则项的权重参数选择问题。在多目标优化算法中结合量子机制加速收敛及有效避免了陷入局部最优的现象。在对比实验中,通过无监督方式提取到样本的稀疏特征并用于图像分类问题,在MNIST手写体数据集和CIFAR-10分类数据集进行对比实验,结果表明本章的算法可以进行抽象特征的表达并且没有权重参数选择的过程。(2)针对深度信念网络模型训练时间复杂度过高的问题,提出了基于GPU的并行稀疏深度信念网络训练算法。本章利用GPU优良的浮点数计算能力以提高深度学习中的关键活动:分类,并且取得所规定的精度。利用GPU并行计算能力降低深度信念网络训练的时间复杂度,从而更快速的学习到稀疏特征。在对比实验中本章提出的算法有效的减少了稀疏深度信念网络的训练时间。(3)为了探索稀疏深度信念网络在更多实际问题中的应用,将研究其应用于表情识别问题。表情是人内心的直观表现,人和智能产品交互的关键步骤之一就是智能产品能够读取人类面部表情信息。表情识别问题中的基础在于能否从原始面部图像中提取有效的特征,基于稀疏受限玻尔兹曼机对非线性函数优秀的表达能力,利用稀疏受限玻尔兹曼机获取原始样本的稀疏表情特征。通过人脸表情数据库JAFFE和CK+数据的实验表明深度信念网络在表情图像上的识别准确率有所提升。