论文部分内容阅读
人工神经网络是一种模拟生物神经系统的信息处理模型,在很多领域得到了成功的应用,并在很多问题上表现出极大的优势和潜力。分类是神经网络的主要用途之一,而分类能力是人类智能的主要表现,所以,本文主要讨论的是人工神经网络作为分类器的学习问题。对分类器学习问题的研究,构造性的学习方法是目前存在的主要方法之一,而覆盖算法则是一种最具代表性的构造性学习方法。覆盖算法以对M-P神经元模型几何意义的深入剖析为基础,具有十分直观的表示,在一定程度上解决了神经网络“不可理解性”。
在实际应用中,提高神经网络的泛化能力是人们一直追求的目标之一,这也是神经网络集成思想产生的主要驱动因素。神经网络集成通过训练多个神经网络并将其结果进行合成,能显著地提高神经网络系统的泛化能力。
本文关注于提高神经网络系统的泛化能力,以具有明确的几何意义的覆盖算法为研究基础,从单个神经网络和神经网络集成两个方面对提高神经网络的泛化能力做出了尝试。
在训练单个神经网络方面,基于M-P神经元模型的几何意义的指导,我们对基于多层前向网络模型的覆盖算法做出了改进。文中给出了获得更强泛化能力的方法,并进一步在控制网络规模和泛化能力的平衡方面给出有效的建议。另外分析了应用中影响泛化能力的因素,进而给出精细的分类方法。文中提供的模拟结果证明了所做出的改进在提高神经网络的鲁棒性方面是令人满意的。
在神经网络集成方面,文中给出了一种有别于传统集成通过控制样本差异来控制个体网络差异的方法,对同一样本集学习即可获得不同的个体网络。藉由该方法,我们也尝试了对Boosting的有效性进行解释。我们还借鉴选择性集成的思想,在神经元模型几何意义指导下,给出了对组成集成的个体网络进行剪裁的方法。模拟实验的结果也证明了这些方法的有效性。