模块化神经网络结构自组织设计方法

被引量 : 24次 | 上传用户:babyjl1219
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从仿生学角度出发,根据脑功能分区原理和脑式信息处理理论,对模块化神经网络结构自组织设计中的子网络结构自组织问题、复杂任务动态分解问题和子网络动态重组问题展开了系统而深入的研究,内容包括:1.提出了一种基于改进拟熵的权衰减算法,该算法对Shannon熵进行改进,改进后的熵与Shannon熵对不确定性的描述具有相同的效果,但克服了Shannon熵固有的缺点。将神经网络实际输出与期望输出的交叉熵和隐节点输出拟熵作为代价函数,并采用熵周期的策略对网络参数进行寻优。最后,通过删除冗余的权连接,实现了简化神经网络结构的目的。2.针对传统修剪算法必须将网络训练到代价函数局部极小的问题,提出了一种基于神经网络复杂度的修剪算法。该算法利用网络连接权矩阵的协方差矩阵计算网络的信息熵,获得网络的复杂度,在保证网络信息处理能力的前提下,删除对网络复杂度影响最小的隐节点。由于该算法只与神经网络的内部连接特性有关,而与外部输入无关,因此该算法不要求训练网络到代价函数的极小点,适合在线修剪网络结构。3.针对权衰减和修剪算法采取贪婪搜索策略易陷入局部最优网络结构的问题,提出了一种自适应前馈神经网络结构设计算法。该算法根据前馈网络输出节点的输出是隐节点输出的线性组合的事实,结合前馈网络的学习动态,采取自适应寻优策略合并和分裂隐节点。当神经网络中有冗余隐节点时,利用互信息找到输出线性相关的隐节点进行合并,以简化神经网络结构;当神经网络学习能力不足时,采用随机分裂隐节点的方法,以增大神经网络的学习能力。实验表明,该算法能够达到设计最优神经网络结构的目的。4.针对单一神经网络训练时间长、对复杂问题处理精度较低、易陷入局部极小等缺陷,提出了一种多层协同模块化神经网络结构。该神经网络具有层级结构,基于条件模糊聚类技术对样本进行分类,根据分类结果实现对神经网络的模块划分,采用代数算法对网络权值进行求解,基于距离测度设计了处理输入信息的子网络选择方法。为提高神经网络对复杂问题的逼近能力,选择数目不等的多个子网络参与给定输入的协同学习,采取“分而治之”与“集成学习”相结合方法以提高网络的性能。实验表明,对于复杂问题,多层协调模块化神经网络可以有效地提高网络的逼近精度,训练时间也优于单一神经网络。5.针对全互连BP神经网络在应用中存在的问题,提出了一种局部互连BP神经网络结构。它利用RBF神经元的物理特性,实现对输入样本空间的分解,并将分解后的样本送到神经网络不同区域去学习。与全互连BP神经网络相比,降低了网络在学习过程中的权值搜索空间,提高了网络的学习速度,改善了网络的泛化性能。另外,该神经网络结构也考虑了神经网络结构设计的问题,可以根据当前的学习状况调整神经网络的规模。实验表明,该网络能够解决全互连BP神经网络不能有效解决的问题。6.针对传统模块化神经网络应对时变系统时结构固定的问题,提出了一种在线自组织模块化神经网络结构设计方法。该方法利用RBF神经元实现对输入样本空间的分解,并采用改进的在线减法聚类算法在线辨识RBF神经元的数据中心。在网络的学习过程中,由于RBF神经元能够随着时变环境的变化而变化,因此模块化神经网络能随着所学习对象时变环境的变化而自适应调整网络中子网络的数量。为提高网络的学习速度,采用模糊策略选择部分合适的子网络参与学习和集成,并且子网络在学习中也采用自适应结构调整算法调整自身的网络规模。通过对人工时变数据集和真实时变数据集的实验,表明该模块化系统特别适用于时变系统。
其他文献
大玉糯2号系云南省大理州农业科学院以优良自交系芹糯-2和ZN 1-22选育为基础,杂交组配选育而成的糯玉米单交种,是大理州首个自主研发并通过审定的鲜食型特种杂交玉米新品种。
随着信息化社会的发展,北京市监狱管理局将科技信息手段应用到办公业务平台,先后建成了罪犯信息管理系统、监管改造系统和后勤保障系统等信息系统。但罪犯心理矫治工作的开展
微网(micro-grids)作为智能电网(Smart Grid)的重要组成部分,是当前研究的热点。含微网的配电网优化规划,能够实现分布式电源(distributed generation,DG)的大规模接入、污染气体排放
问责制是政府部门及社会机构或个人监督公立高校资源使用情况和效果的一项重要手段,它在英国高等教育管理体制中发挥着重要作用。在“以顾客为中心”的时代,高等学校需要回应
<正>2005年,《中国教育报》在华夏大地展开一场讨论:"校长是管理专家还是教学专家?"有人争鸣、有人支持、有人反对、有人预言!我从三个方面阐述我的观点。一思辨:校长要不要
随着“十二五”规划的展开,我国交通基础建设力度将进一步加大。回眸过去近50年的发展,我们修建很多各类型桥梁。在这些桥梁中预应力混凝土连续梁桥因其自重轻、跨越能力大、行
大学文化是指以大学历代积淀传承的精神为内核,延伸、拓展表现在大学软件与硬件等各个方面的综合,分为大学精神、大学制度、大学环境三个层次。我国大学由于建立时间晚,加上
随着科技的不断发展,计算机生成数字图像的技术也日渐成熟,能够表达的图形越来越丰富,数字水墨动画的表现形式也呈现出多样化的发展趋势。在传统的数字水墨动画中,大多通过水墨扩