跨越—侧抑制神经网络的结构分析与设计研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:tomb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络是对生物神经网络结构和功能的模拟,是当前信息学科的研究热点之一,其结构设计和参数调整问题一直是个开放的研究课题。论文结合大脑皮层内神经元的连接特点,设计出一种具有类皮层结构的跨越-侧抑制神经网络模型,并提出一种适应该网络模型的梯度下降学习算法,实现跨越-侧抑制神经网络的参数学习。基于跨越-侧抑制神经网络逼近和分类能力的理论分析,研究了一种结构稀疏的跨越-侧抑制神经网络结构设计方法,给出了权值分别训练的序列学习算法,提高了跨越-侧抑制神经网络的学习效率。为实现跨越-侧抑制神经网络的结构自适应调整,设计了衡量隐含层神经元输出重要性的显著性指标,实现了跨越-侧抑制神经网络结构自组织设计,提高了神经网络信息处理能力。论文的主要研究工作和创新点如下:  1.跨越-侧抑制神经网络设计  借鉴大脑皮层的层状结构以及其内部神经元的连接模态,提出一种跨越-侧抑制神经网络模型。根据新皮层内锥体神经元可以跨越整个皮层进行信息传递,而中间神经元横向连接抑制邻近神经元的特点,设计了跨越-侧抑制神经网络结构。该神经网络不相邻两层内的神经元之间进行跨越连接,隐含层内的神经元之间含有侧抑制连接,从而实现信息的跨越传输和抑制传输。实验结果表明,跨越-侧抑制神经网络具有更强的学习能力和泛化能力。  2.跨越-侧抑制神经网络的特性分析与结构稀疏设计  通过分析跨越-侧抑制神经网络的逼近和分类能力,根据隐含层神经元之间抑制作用动作的位置,建立不同侧抑制连接方式对网络性能的评价指标;同时,根据生物神经网络的稀疏连接特性,研究稀疏连接的跨越-侧抑制神经网络结构设计方法及其网络性能:从网络权值连接稀疏度入手,利用生物发育过程中智力变化与大脑皮层厚度之间的对应关系,获得结构稀疏的跨越-侧抑制神经网络设计及权值自适应调整方法。  3.跨越-侧抑制神经网络的权值序列学习  通过对网络连接权值类型的分析,将跨越-侧抑制神经网络的可调权值分为跨越输出权值和前馈输出权值两类,设计出一种权值分别训练的序列学习算法。首先,输入层-隐含层以及隐含层-隐含层之间的连接权值随机生成,且在学习过程中不作调整;其次,在随机初始权值的基础上通过最小二乘法估计跨越输出权值,并固定;最后,前馈输出权值和最后两个隐含层之间的连接权值通过改进的迭代学习进行调整。实验结果表明,基于权值分别训练的序列学习算法提高了网络的学习效率。  4.跨越-侧抑制神经网络的结构自组织  为实现网络结构的自适应调整,以大规模跨越-侧抑制神经网络为研究对象,设计了衡量隐含层神经元输出显著性的指标对隐含层神经元的显著性进行分析,在满足条件的情况下删除显著性最低的隐含层神经元。同时,利用序列学习算法对网络进行学习,实现网络的参数自适应和结构自组织。将其应用于乳腺癌诊断、混沌时间序列预测及非线性动力学系统辨识中,结果表明,所提方法不仅能够提高网络的学习性能,而且可以获得更为紧凑的网络结构。
其他文献
两轮自平衡机器人在坡面上运动时,仍然可以保持机身的竖直状态,避免了一般的轮式移动机器人在坡面上运动由于机身倾斜而倾倒的现象。关于两轮自平衡机器人在坡面上的运动平衡控
三维彩色信息获取系统旨在通过非直接接触的途径自动获取对象表面点在三维空间中的坐标信息和色彩信息,并将所获得的数据集通过三维建模和构型存储为标准数据接口文件,以供有关
作为工农业生产测量的重要组成部分,流量测量已经深入到人们的日常生活、国防现代化建设以及经济科学的发展研究等领域。现如今,资源和能源的节约利用逐渐被人们所重视,而流量的
海底观测网络是海底探测与研究的前沿课题,随着海洋需求的不断增加,建立新型的海底观测网络是海洋研究的一个发展趋势。与传统的海洋观测技术受到电能长期供给限制不同,海底观测
可持续发展是当前一个重要的研究领域. 水环境-社会经济(WE-SE)复合系统作为"社会-经济-资源-环境"复合大系统的重要组成部分,与可持续发展密切相关.从全球来看,水资源短缺、
电力的传输跟人们的日常生活和工业生产有着密切的关系,为了不对生产、生活产生影响,需要保证电力传输设备的正常运行。常用的电力设备有变压器、互感器、接触器和输出线路等,而变压器在所有电力设备中,最容易出现故障,出现故障也最难修复,引起的损失也最大。因此,本文在如何对变压器的故障进行诊断上提出了一种比较有效的方法,主要内容如下:首先,对粗糙集和D-S证据理论进行了研究。粗糙集理论在对属性约简的时候,一旦
随着无人机遥感系统的不断成熟以及相关政策法规的不断健全,无人机遥感系统必将广泛地应用于国民生产的各个领域,无人机的应用将是一个巨大的潜在市场。利用传统摄影测量的方法
随着传感器、计算机技术、无线通信等技术的发展,无线传感器网络(wireless sensor network, WSN)成为当前的热门研究之一。本文介绍了无线传感器网络的结构,分析了无线传感器
随着航空运输业的迅速发展,有限的空域资源和日益增长的交通需求间的矛盾日益凸显,空中交通管理面临着新的考验。如何提高空中交通管理的服务质量成为目前研究的重点,根据空中交
各种军工设备在批量生产和装备部队之前,都要经过各种严格的环境试验来考核其对环境的适应性。因此,有必要建设一定规模的环境试验室,在各试验室中再现各种环境条件,进行产品