论文部分内容阅读
多层感知器和径向基函数神经网络是两种典型的前馈神经网络,它们具有较强的模式识别能力和灵活的非线性建模能力。然而,在实际应用中,两种网络仍存在一些不足之处,如网络的泛化能力和抗噪声能力较差。为了提高单个多层感知器和径向基函数神经网络的泛化性能及抗噪声能力,本文对基于信息理论学习的神经网络集成开展了研究。本文主要提出了两种神经网络集成策略,主要工作如下:1.提出了基于二次Renyi熵的神经网络集成。所提方法利用Renyi熵为集成中各成分网络选择最优的权重,使得集成后的网络具有更优的泛化性能。此外,针对所提方法中的优化问题,利用解析法(而非牛顿法)进行求解,有效地提高了计算效率。2.提出了基于改进负相关学习的径向基函数神经网络选择性集成。在所提方法中,利用相关熵代替传统负相关学习中的均方误差,并在目标函数中增加了基于L1范数的组合权重正则化项。此外,利用半二次优化技术和替代函数法对所提方法的优化问题进行求解。实验结果表明,所提两种基于信息理论学习的神经网络集成方法均取得了较好的泛化性能。