论文部分内容阅读
作为第三代人工神经网络的脉冲神经网络(Spiking neural network,SNN)通过接收、发送脉冲来传输信息,在生物学上比传统人工神经网络更真实,能更好地模仿生物神经元的工作原理,因而在类脑计算相关领域备受关注。当前SNN主要结合非监督学习、脉冲时间相关可塑性(Spike timing dependent plasticity,STDP)规则应用于信号处理、图像分类和语音识别等领域,与传统的人工神经网络相比,SNN在信息表达和计算能力上都更具优势。然而,现有的SNN网络结构都相对较浅,在提高计算能力的同时很难保证结果的优越性。因此,本文在研究Spiking神经元模型、STDP学习规则以及稀疏编码等相关特性的基础上,结合卷积神经网络模型中的卷积、池化等操作和反向传播算法,提出了基于稀疏独立局部网络的脉冲卷积神经网络(Spiking convolution neural network,Spiking-CNN)模型以及基于反向传播STDP(Back propagation STDP,BP-STDP)学习算法的多层Spiking-CNN模型。本文主要研究内容包括:(1)当前SNN的训练主要利用STDP学习规则和离线训练转换两种方式,基于STDP规则的训练算法较为单一,而离线训练后转换为SNN相比于传统人工神经网络并无优势。因此,本文提出一种基于稀疏独立局部网络的Spiking-CNN模型,首先通过稀疏独立局部网络训练Spiking卷积核,然后通过Spiking卷积池化操作提取输入数据特征,并利用基于概率漏积分发放Spiking神经元模型的特征发现层筛选特征,最终通过全连接层实现分类。实验表明提出的模型在处理图像分类问题时相比于现有的单层SNN模型具有更好的分类结果且对加性噪声具有较强的鲁棒性。(2)为了克服具有复杂网络结构的SNN模型难以训练的问题,提出一种基于BP-STDP算法的多层Spiking-CNN模型。首先利用STDP表示学习算法进行多层Spiking卷积核训练得到多个卷积核,然后在卷积池化操作之后借助BP-STDP算法进行全连接层训练。在全连接层为了避免Spiking神经元进入“假死”状态,提出一种权重归一化方法对训练权重进行归一化操作,最终通过BP-STDP算法在全连接层实现分类。实验结果表明提出的多层Spiking-CNN模型在图像分类问题上能够取得良好性能,与现有的多层SNN模型进行对比,新模型能够得到更优的分类结果且对加性噪声具有较强的鲁棒性。