深度学习是机器学习中一个新的研究方向,使其更接近机器学习最初的目标-人工智能,通过构造含有多层隐藏层的深层网络模型来学习数据的本质特征用以提高识别和预测未知数据的准确率。手写数字特征提取是利用自动化设备识别手写体数字的重要技术,在银行,邮政等行业有着广泛的应用。本文利用深度学习算法对手写体数字集进行特征提取是一项理论结合实际的课题,具有一定的理论研究价值。本文的主要工作如下:1、提出一种基于稀疏自编码模型的手写数字集特征提取算法,将多个稀疏自编码器堆叠构造深层网络结构。利用堆叠稀疏自编码模型提取的手写数字集特征,使用softmax分类器进行数字识别。整个训练过程分为逐层贪婪预训练和反向传播及随机梯度下降参数微调两个阶段。将该模型对MNIST数据集在Matlab上进行实验仿真,实验证明该模型,有效的提取了数据的本质特征,使识别准确率达到98.6%以上。2、提出一种根据最近两次迭代中误差的平方差值来动态确定学习速率的自适应学习速率方法,有效的解决了随机梯度下降法学习速率收敛慢的问题。3、在模型中引入Dropout随机退隐,将隐藏层的神经元输出按50%的概率随机清零,权重暂时不更新,将改进的模型在MNIST数据子集上进行实验,在测试集上引入Dropout后较没有引入Dropout识别准确率能够提高0.6%以上,有效的防止过拟合。