论文部分内容阅读
从仿生学角度出发,根据脑功能分区原理和脑式信息处理理论,对模块化神经网络结构自组织设计中的子网络结构自组织问题、复杂任务动态分解问题和子网络动态重组问题展开了系统而深入的研究,内容包括:1.提出了一种基于改进拟熵的权衰减算法,该算法对Shannon熵进行改进,改进后的熵与Shannon熵对不确定性的描述具有相同的效果,但克服了Shannon熵固有的缺点。将神经网络实际输出与期望输出的交叉熵和隐节点输出拟熵作为代价函数,并采用熵周期的策略对网络参数进行寻优。最后,通过删除冗余的权连接,实现了简化神经网络结构的目的。2.针对传统修剪算法必须将网络训练到代价函数局部极小的问题,提出了一种基于神经网络复杂度的修剪算法。该算法利用网络连接权矩阵的协方差矩阵计算网络的信息熵,获得网络的复杂度,在保证网络信息处理能力的前提下,删除对网络复杂度影响最小的隐节点。由于该算法只与神经网络的内部连接特性有关,而与外部输入无关,因此该算法不要求训练网络到代价函数的极小点,适合在线修剪网络结构。3.针对权衰减和修剪算法采取贪婪搜索策略易陷入局部最优网络结构的问题,提出了一种自适应前馈神经网络结构设计算法。该算法根据前馈网络输出节点的输出是隐节点输出的线性组合的事实,结合前馈网络的学习动态,采取自适应寻优策略合并和分裂隐节点。当神经网络中有冗余隐节点时,利用互信息找到输出线性相关的隐节点进行合并,以简化神经网络结构;当神经网络学习能力不足时,采用随机分裂隐节点的方法,以增大神经网络的学习能力。实验表明,该算法能够达到设计最优神经网络结构的目的。4.针对单一神经网络训练时间长、对复杂问题处理精度较低、易陷入局部极小等缺陷,提出了一种多层协同模块化神经网络结构。该神经网络具有层级结构,基于条件模糊聚类技术对样本进行分类,根据分类结果实现对神经网络的模块划分,采用代数算法对网络权值进行求解,基于距离测度设计了处理输入信息的子网络选择方法。为提高神经网络对复杂问题的逼近能力,选择数目不等的多个子网络参与给定输入的协同学习,采取“分而治之”与“集成学习”相结合方法以提高网络的性能。实验表明,对于复杂问题,多层协调模块化神经网络可以有效地提高网络的逼近精度,训练时间也优于单一神经网络。5.针对全互连BP神经网络在应用中存在的问题,提出了一种局部互连BP神经网络结构。它利用RBF神经元的物理特性,实现对输入样本空间的分解,并将分解后的样本送到神经网络不同区域去学习。与全互连BP神经网络相比,降低了网络在学习过程中的权值搜索空间,提高了网络的学习速度,改善了网络的泛化性能。另外,该神经网络结构也考虑了神经网络结构设计的问题,可以根据当前的学习状况调整神经网络的规模。实验表明,该网络能够解决全互连BP神经网络不能有效解决的问题。6.针对传统模块化神经网络应对时变系统时结构固定的问题,提出了一种在线自组织模块化神经网络结构设计方法。该方法利用RBF神经元实现对输入样本空间的分解,并采用改进的在线减法聚类算法在线辨识RBF神经元的数据中心。在网络的学习过程中,由于RBF神经元能够随着时变环境的变化而变化,因此模块化神经网络能随着所学习对象时变环境的变化而自适应调整网络中子网络的数量。为提高网络的学习速度,采用模糊策略选择部分合适的子网络参与学习和集成,并且子网络在学习中也采用自适应结构调整算法调整自身的网络规模。通过对人工时变数据集和真实时变数据集的实验,表明该模块化系统特别适用于时变系统。