在神经网络的学习过程中,随着神经网络结构的复杂化,参数的增加,往往会伴随出现过拟合现象。神经网络的正则化可以缓解在训练阶段出现的过拟合现象。目前,常见的正则化方法,包括有Dropout,DropConnect等。Dropout和DropConnect无区别地对待网络中的结点(边),采用随机的策略删去网络中的一些结点(边)。这种方法都是不依赖于样本数据的正则化。本文希望提出一种,从样本数据出发,决定神经网络中哪些边留下,哪些边删去的方式。本文建立在信息几何的框架下,我们为神经网络中的每一条边,定义了其重要性,即“可信度”。在信息几何的框架下,可以轻松估计出概率分布之间的距离。而可信度就是根据每条边对费舍信息距离的贡献来定义的。在原始的神经网络中,删去可信度低的边,保留可信度高的边,即可获得约简后的神经网络,我们称之为“可信网络”。可信网络将会包含样本数据中的绝大多数信息,删去的边仅包含了很少一部分信息。随后,我们探讨了可信度估计,和最大似然估计,以及传统的模型约简准则,如Akaike信息准则(AIC)之间的关系。另外,针对可信网络计算中的采用贪婪算法获取局部最优解的问题,我们还在可信网络的基础上,提出了一种“随机可信网络”,随机可信网络增加了可自适应的随机采样概率,使得每一条边都可以有机会被保留。在实验环节,我们在MNIST,CIFAR-10和CIFAR-100三个传统的分类任务数据集上进行了对比和探讨实验,实验表明,正则化方法确实可以有效缓解过拟合现象,尤其是提出的两种依赖样本数据的神经网络正则化方式在三个数据集上,均表现出较之前的正则化方法更出色的效果。