论文部分内容阅读
本文利用最近这些年非常流行的L1/2正则化方法研究BP神经网络的结构稀疏化。我们在传统的平方误差函数中引入L1/2正则项并且在训练过程中对连接输入层和隐层节点的权值向量的L1范数进行惩罚，构造了一种改进的L1/2正则化方法。改进的L1/2正则化方法能够在不影响网络的分类能力和逼近能力的基础上得到更加稀疏的神经网络。同时，我们将改进的L1/2正则化方法和光滑化的L1/2正则化方法进行了实验比较，实验结果表明了改进的L1/2正则化方法的收敛性、稀疏性和优越性。 本文一共分为四章。第一章简单介绍了神经网络的相关理论知识和发展历程。第二章介绍了正则化框架和几种正则化方法，并由此引出了L1/2正则化方法。第三章以第一章和第二章为基础，介绍了如何将正则化方法用于BP神经网络的改善，具体介绍了 L1/2正则化批处理梯度法并将其做了改进。最后，在第四章中，我们进行了相关的数值试验并给出结果。