论文部分内容阅读
近年来,脉冲神经网络在智能计算领域的研究与应用越来越广泛,获得了研究者越来越多的关注。虽然脉冲神经网络的早期发展受到了传统人工神经网络的启发,但是其与传统人工神经网络在本质上有很大的不同,脉冲神经网络拥有更强大的计算能力,非常适合于实现复杂时空模式的处理问题。一方面,脉冲神经网络采用精确定时的脉冲序列编码信息,而人工神经网络采应用脉冲频率编码信息。人类大脑对信息的处理过程是实时的,因此与传统人工神经网络相比较,很显然采用时间编码的脉冲神经网络更具有生物真实性。另一方面,大脑皮层网络并不是简单的前馈结构,大脑中的神经元递归地连接在一起,并通过动作电位进行交互。因此与前馈结构的脉冲神经网络相比较,具有反馈连接的递归脉冲神经网络能更好地模拟大脑的信息处理过程。对于脉冲神经网络来说,神经信息以脉冲序列的形式表示,神经元内部状态变量及误差函数不再满足连续可微的性质,所以传统人工神经网络的学习算法不能直接应用到脉冲神经网络中。另外,具有反馈连接使得递归脉冲神经网络具有更为复杂的动力学特征,因而构建其学习算法更为困难。基于以上背景,文中提出两个可以用来训练递归脉冲神经网络的监督学习算法。首先,将Integrate-and-Fire神经元模型映射到ReLU神经元模型,这个映射理论解决了学习规则推导过程中变量的不连续问题,为将传统递归神经网络的监督学习算法应用到递归脉冲神经网络提供了基础。其次,在映射理论的基础上,结合脉冲时间依赖可塑性学习机制,将传统递归神经网络中的经典学习算法-时间反向传播学习算法推导到递归脉冲神经网络中,提出了基于BP-STDP(Backpropagation-Spike-Timing Dependent Plasticity)的递归脉冲神经网络监督学习算法。为了方便描述,将其简称为BP-STDP算法。文中通过脉冲序列学习任务验证BP-STDP算法的有效性,并将学习结果与FOLLOW(Feedback-based Online Local Learning of Weights)算法对比,分析比较了不同参数对学习效果的影响。同时也通过在Iris数据集与WBC数据集上的分类实验验证BP-STDP算法对非线性模式分类问题的处理能力,并与FOLLOW算法的分类结果作比较。最后,在BP-STDP算法的基础上,在反向传播过程中引进了反馈对齐机制,提出了基于FA-STDP(Feedback Alignment-Spike-Timing Dependent Plasticity)的递归脉冲神经网络监督学习算法。为了方便描述,将其简称为FA-STDP算法。实验中通过脉冲序列学习任务验证算法的有效性,分析不同参数对学习效果的影响,并将结果与BP-STDP算法进行比较。同时,也通过在Iris数据集与WBC数据集上的分类实验验证FA-STDP算法对非线性模式分类问题的处理能力,并与BP-STDP算法的分类结果作对比。