论文部分内容阅读
深度学习(Deep Learning,DL)是人工智能领域的研究热点,它通过多隐层非线性单元学习海量数据的本质特征,实现高阶抽象函数的逼近,提升分类或预测的准确性。与浅度学习相比,深度学习的结构更类似于大脑皮层,数据从输入层输入,经由每个隐层分层处理,其计算能力和表达复杂函数的能力比较强。而卷积神经网络则是深度学习中最基础且有效的算法,其局部感受野、权值共享和下采样结构大大降低了网络模型的复杂度,减少了可训练权值的数量。在图像识别领域,卷积神经网络独特的拓补结构对平移、比例缩放或其它形变具有高度不变性。因此,把深度学习技术应用到图像识别领域具有重要的研究意义。本论文在国内外研究的基础上,对多层前馈网络和卷积网络的基本结构和算法进行了总结和介绍,深入研究了卷积神经网络的参数设计和随机梯度下降学习算法的优化问题。文章在Theano开发平台上利用Python语言实现多层卷积神经网络的模型设计,并将改进的随机梯度学习算法应用到手写数字识别和人脸识别问题中。文章首先设计了卷积神经网络和多层前馈网络两种模型结构,分析了不同隐层的误差灵敏度和学习速率的变化情况,研究了不同学习率对卷积神经网络收敛速度的影响情况,并与其它算法在MNIST数据集上的识别性能进行对比分析。接着,文章重点研究了随机梯度下降算法(Stochastic Gradient Descent,SGD)的改进问题,通过对网络的学习率参数进行优化,并在ORL数据集上进行测试,验证该算法在人脸识别问题上的可行性。最后,通过分析三组不同数配置的网络模型在人脸识别测试集上的实验效果,研究了卷积核参数对卷积神经网络的识别率和训练速率的影响。本论文在不同数据库上对网络结构和参数优化进行研究,分析总结了深度学习在图像识别分类应用上的一些实践性规律,证明了卷积神经网络能够处理复杂的图像分类问题。文章采用改进学习率算法的网络模型在MNIST数据集中的识别误差率(0.84%)比多层前馈网络(2.52%)要低,比文献中模型(6.25%)的性能要好。同时,在ORL数据库中,采用改进算法的网络在识别率和训练速度方面上明显优于传统网络和文献中的网络。实验表明,该算法具有较好的实践性能,对于解决实际的工程问题具有较好的指导作用。