论文部分内容阅读
大脑如何以可靠、有效的方式来实现学习功能,这是神经科学的一个根本问题。目前普遍认为,大脑的学习是通过突触可塑性机制来实现的,这种机制通过突触前和突触后神经元的电位变化改变突触的效能。脉冲神经网络是一类更接近生物神经系统的计算模型,通过神经元发放精确定时的脉冲来传递神经信息,具有处理时空数据的能力。它克服了人工神经网络对计算能力的限制,为开发具有记忆能力和快速适应能力的模型开辟了新的道路。根据神经科学研究成果,大脑中的神经元可以对单个脉冲做出迅速反应,神经元之间突触连接的强度在发放脉冲时立刻会发生加强或减弱的变化,即生物神经系统中在多数情况下利用的是在线方式来改变突触权值。为了更加贴近真实神经元以及处理不断产生的大量数据,采用更具生物可解释性的在线学习方法受到研究者更多的关注。首先,本文分析比较了脉冲神经网络的不同学习规则,简单阐述了其主要思想及训练特点,并介绍了梯度下降方法在人工神经网络中的应用,以及推广至脉冲神经网络的不同监督学习算法。然后,结合梯度下降方法和在线学习方式的特点,提出了一种基于梯度下降的脉冲神经网络在线监督学习算法,其适用于脉冲神经网络的多脉冲训练模式。通过最小化期望和实际输出脉冲之间的误差函数来实现网络模型的在线训练以及突触权值的实时调整,以脉冲为处理对象实现在线监督学习。脉冲神经网络的在线学习过程不同于离线方式,样本在网络中训练,一旦输出层神经元有脉冲激发,便会引发网络参数的实时调整,即一个样本在网络的训练过程中,网络的连接权值会根据输出层神经元的脉冲发放进行多次调整。最后,将所提出的脉冲神经网络在线监督学习算法应用于脉冲序列的学习任务,在不同的神经网络学习参数下,对在线方式和离线方式进行了对比实验。结果表明,在线方式无论在学习周期还是学习精度上都优于离线方式。进一步将脉冲神经网络的在线监督学习算法应用于非线性模式分类问题,采用样本数据仅需一次迭代的One-Pass方式进行学习。在Iris数据集和Wisconsin乳腺癌数据集上的实验结果表明,脉冲神经网络的在线监督学习算法在一次迭代学习过程中,表现出较高的训练集和测试集的分类准确率,提高了模式分类问题的学习效率。