生物启发的层次脉冲神经网络及其应用

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:dannananjing31306111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着细胞生物学与神经学的技术发展,人们对生物视觉系统的结构与功能有了越来越多的了解。生物神经元通过发放脉冲信号响应外界变化。生物视觉系统采用的是分层处理机制,这种分层机制从视网膜开始,经过神经节细胞/外膝体细胞层(LGN层),然后依次达到视觉腹侧通路的初级视觉皮层V1层,V2/V4中间层,最后到达颞下皮层IT层。除了结构上的特点,生物神经学研究还发现了用于可塑性学习的STDP(Spike-timing-dependent plasticity)学习法则,神经网络层内的侧抑制机制以及内稳态等生物机制。本文依据生物神经学揭示的神经元模型,设计适用于计算机模拟仿真的脉冲神经元模型,并根据生物视觉系统中的层级网络结构,设计生物启发的层次脉冲神经网络,同时结合生物神经机制,如感受野、STDP学习、侧抑制等,模拟形状视觉通路,提取图像中的形状特征信息,并根据该形状特征进行图像分类。在模拟仿真形状视觉通路的基础上,本文还结合卷积神经网络,提出转换权值与偏置的网络训练方法,设计深度脉冲神经网络,实现复杂自然图像分类的应用。本文还结合生物研究中发现的基于多巴胺神经元的强化学习机制,设计结合强化学习与可塑性学习的脉冲神经网络,并使用异或问题验证该学习方法的可行性。本文的研究具有重要的理论价值和应用价值。本文从生物视觉系统的有关神经机制出发,在归纳总结与生物视觉相关的神经机制基础上,提出基于生物启发的层次脉冲神经网络。该层次脉冲神经网络一共分为七层,分别为信号编码层、边缘提取层、V1简单细胞层、V1复杂细胞层、V2/V4简单细胞层、V2/V4复杂细胞层和支持向量机(SVM)分类器层。通过结合STDP学习法则、内稳态以及侧抑制等神经机制,提取图像中的有效形状特征,进行图像分类。本文对网络的边缘提取层的脉冲响应结果进行可视化分析,证明该层神经元对于自然图像可以有边缘信息提取的效果;对V1简单细胞层进行方向选择性实验,验证该层神经元在经过训练后会形成一定的方向选择性;使用MNIST手写字符集对该层次脉冲神经网络进行试验,验证该网络使用无监督方法提取的图像中的形状特征,可以成功用于最后的图像分类并达到96.3%的分类准确率。上述提出的基于无监督STDP学习方法的层次脉冲神经网络在处理更加复杂的自然图像时,由于特征复杂性的增加,需要训练深度神经网络来提取更多更加复杂的图像特征。但是单纯的使用无监督STDP学习方法,无法有效的对深层脉冲神经网络进行系统地训练,为此,本文利用卷积神经网络来训练学习网络中的权值和偏置,并运用合适的转换方法,搭建同样结构的脉冲神经网路,应用前面学习到的权值与偏置参数,从而使得深度脉冲神经网络胜任图像分类方面的任务。并针对两种神经网络之间的权值以及偏置参数转化时的性能损失来源,对两种网络进行针对性的修改,使得在卷积神经网络获得更大准确率的基础上,脉冲神经网络有更小的转换误差。该深度脉冲神经网络在CIFAR数据集以及MNIST数据集上的分类实验均有很好的效果,在CIFAR数据集上的分类准确率为86.43%,在MNIST数据集上的分类准确率为99.09%,均达到或超过现有脉冲神经网络在这些数据集上的分类效果。虽然使用上面所述的深度脉冲神经网络可以在自然图像分类问题上取得不错的结果,但由于突触权值是从结构一致的卷积神经网络的参数训练结果转化而来,转化过程中难免会有转化误差,即使转化误差很小,最后分类精度也只能无限逼近卷积神经网络的分类结果。所以对于生物启发的脉冲神经网络,需要更符合生物机制的网络训练方法。生物神经研究发现多巴胺神经元与强化学习机制相关,结合该神经机制,本文提出一个合适但简单的学习算法,通过调整突触模型参数来实现强化学习规则,并结合可塑性学习方法来调整突触权值大小,共同训练脉冲神经网络。使用该脉冲神经网络实现异或(XOR)功能,并在训练过程中,对模型相关参数做跟踪分析。这种结合了强化学习与可塑性学习的脉冲神经网络框架为采用生物突触模型处理神经信号和计算开辟了新的应用方法。
其他文献
城市公共交通网络布局直接影响公共交通的资源配置和服务能力.本文按照线网分类的规划理念,研究提出了分级分区的网络规划模式和布局方法,并结合东莞市核心城区公交发展现状
交通信号灯优化配时方案直接影响到智能交通信号灯控制系统的效果,不仅涉及到交通拥堵问题,还涉及到人民群众的交通安全问题,是重大的民生问题。近年来,智能交通相关研究成为了“两会”的主要议题,引起了政府、企业和公众的广泛关注,智能交通信号灯相关研究作为智能交通研究的子课题,也得到社会各方的高度重视。作为缓解交通拥堵的一种有效手段,如何有效的对智能交通信号灯进行优化配时,寻找更加合理准确的预测方法成为研究
在飞机结构上,紧固孔是十分常见的零件特征结构,由于飞机工作环境十分恶劣,而小孔又是典型的应力集中结构,因此往往在该区域出现疲劳裂纹。激光冲击强化是一种新型强化方式,
妾制作为旧社会中国婚姻的重要补充形式,对中国家庭制度以及中国社会起着不可忽视的作用。进入民国,一夫一妻、男女平等、恋爱自由等新思想的传入,纳妾与缠足、束胸等旧习俗
介绍以乙醇为溶剂,超声辅助提取山楂总酚的工艺;介绍了山楂多酚在其深加工利用中的作用及对食品性质的影响.并以Folin-Ciocalteu法对超声辅助提取山楂总酚工艺的因素进行分析
日本的平安时代诞生了世界上最早的长篇小说《源氏物语》。作者紫式部自幼学习汉文学,十分喜爱白氏诗歌,而其中《长恨歌》对其影响最深。《源氏物语》的创作在一定程度上受到
本文对直径为100mm带套筒构件埋地燃气管道绝缘接头焊接时由于温度引起的密封圈变形进行了实验分析研究。实验研究中用红外热像仪根据对直径为100mm带套筒构件埋地燃气管道绝
有深度和流动性良好的金融系统,加上有丰富的金融工具可抵御金融冲击,还可以增加一国金融的稳定性。但是金融发展或许存在一个边界,越过此边界进一步发展其收益或将下降。本
在新型城镇化以人为本的背景下,城市园林作为人为环境的产物,是人回归自然心性、融入生态环境的意识构造体现。现代城市与人的矛盾问题集中地体现在市民精神归属感、安全感、
光纤光栅按周期长短可分为长周期光纤光栅与布拉格光纤光栅,长周期光纤光栅(long-period fiber grating,LPFG)具有体积较小、附加损耗低、波长选择性好、成本低等一系列优点,在环境传感领域具有广泛的应用。本文通过采用高频CO_2激光脉冲将普通单模光纤光栅,以及拉制出的直径为11μm的细芯微纳光纤写制成周期为600μm的长周期光纤光栅。研究了长周期光纤光栅对外界环境的变化,例如: