前馈神经网络（Feedforward neural networks,FNNs）是在现代神经科学研究成果的基础上提出的,以模拟生物神经网络在受到外界刺激后作出的交互反应机制为基本原理。建模由数据集的输入和输出样本表示的功能关系。被广泛应用于时间序列预测、人脸识别和仿真建模等方面。随着智能计算和大数据时代的发展,前馈神经网络在现实生活的实用性出现了大型网络嵌入式系统和大规模数据集训练缓慢等问题。因此,开发具有快速收敛性和具有良好泛化能力的稀疏网络逐渐被大家关注并研究。目前已出现一些网络稀疏化和学习率自适应调整策略。有光滑组L_1/2正则化方法(SGL_1/2),RMSProp算法等。但如何实现大型网络结构稀疏性和大规模数据网络快速收敛性是进一步研究的方向。此外,过稀疏网络造成的网络学习能力下降的再学习也是值得研究的问题。本文在前馈神经网络处理分类数据集中考察带稀疏光滑组L_1/2正则化(SSGL_1/2)的自适应学习率批量梯度下降算法。此外,对于稀疏化网络可能造成的学习能力下降问题,考虑基于稀疏结构和稀疏结构初始化两种再学习方式的对比,给出合适的再学习方法。最后,利用UCI数据库中10组数据集完成了算法数值实验,并验证其稀疏性和快速收敛性。论文主要研究了以下四个方面的内容:⑴将光滑L_1/2正则项(SL_1/2)添加到SGL_1/2对应的损失函数中,形成SSGL_1/2,验证了该算法较SGL_1/2加强了层与层连接的稀疏性,与SL_1/2相比寻找了更多冗余节点。⑵对于批量梯度下降算法,考察基于网络准确率的学习率自适应调整策略。其实现非线性更新的同时又无新参数的预设,调整过程更符合当前网络的训练状况。给出了带SSGL_1/2的自适应学习率批量梯度下降算法。⑶利用UCI数据库中的10组不同特征的数据集,使用Matlab软件工具,一方面完成了SSGL_1/2分别与SL_1/2、SGL_1/2的网络稀疏化对比实验。实验结果表明SSGL_1/2在隐层节点和隐层与输出层连接结构的双重稀疏化,从而增强了网络泛化能力。另一方面完成了常数型、RMSProp算法、AdaDec算法、AdaRecur算法和基于网络准确率的学习率自适应算法的不同学习率设计策略的对比实验。实验结果支撑了基于网络准确率的学习率自适应算法的网络训练快速收敛性。⑷考察基于稀疏结构和稀疏结构初始化两种再学习方式的实验对比,由实验结果给出稀疏化网络合适的再学习方法。