论文部分内容阅读
手写体数字识别作为模式识别的一个重要分支,它主要研究如何通过计算机智能地识别出不同场景下的阿拉伯数字。目前,手写体数字识别技术被广泛应用于互联网、金融、教育等行业。21世纪以来,伴随着互联网与大数据地快速发展、全球信息化与自动化程度地不断提升,需要对手写体数字进行识别处理的工作越来越多,比如银行核对金融票据、公司核对财务报表、邮政自动分拣以及学校的试卷分数统计,传统的人工处理具有很强的局限性,特别是速度上难以满足相关需求。自动识别的方式不仅可以提高数字识别处理的效率、减少人力的消耗,还能有效地降低人为操作导致的错误率,让相关工作更加自动化、准确化和高效化。本文首先以单个卷积神经网络为基础,对手写体数字识别任务进行研究,提出了一种融合优化算法,并在MNIST数据集和USPS数据集上证明了该算法的可行性,之后结合卷积神经网络和集成学习进行进一步研究,提升识别性能。本文首先对卷积神经网络相关理论进行了介绍,包括人工神经网络、神经元模型、卷积层、下采样层、全连接层、反向传播算法、局部感受野、权值共享、损失函数、激活函数、过拟合、正则化方法、Dropout策略等。之后,对集成学习相关内容进行了介绍,包括集成学习方法:Boosting方法、Bagging方法,与集成学习策略:投票法、平均法、学习法。然后设计了用于手写体分类任务的单个卷积神经网络,使用ReLU函数作为激活函数解决训练过程中容易出现的梯度消失问题,在卷积层和下采样层使用边缘补充操作来保留更多的原始样本边界信息,在全连接层使用Dropout策略抑制过拟合。本文还提出了一种结合Adam优化算法和SGD优化算法的Adam-SGD融合优化算法,在MNIST数据集和USPS数据集上的实验表明,该方法可以帮助网络模型在训练时更快地收敛到一个好的结果。最后,结合卷积神经网络与集成学习,设计了基于集成卷积神经网络的手写体数字识别模型,分别采用投票法和学习法对六个结构不同的卷积神经网络进行集成,最后在MNIST数据集上得到了 99.57%和99.59%的分类准确率,在USPS数据集上得到了 98.87%和99.02%的分类准确率,实验结果表明,集成后的模型在识别性能上要优于单个卷积神经网络。