论文部分内容阅读
近年来,随着人工智能的不断发展,神经科学在人工智能中的作用也日渐凸显,类脑计算、类脑智能等研究也越来越受到关注。神经科学揭示的生物视觉神经机制,为模拟生物视觉的信息处理特性,研究类脑学习算法提供了强有力的生物依据。当前,深度学习等技术取得了巨大的突破,但是其学习原理和特性仍然与生物神经网络有较大差异。脉冲神经网络(Spiking Neural Network,SNN)被认为是“第三代人工神经网络模型”,其信号的编码与传递都与生物神经系统更加接近。因此本文构建了层次性的脉冲神经网络模型,分别对比了无监督STDP(Spike-Timing Dependent Plasticity)学习规则、奖励-惩罚信号调制的STDP规则以及监督预训练参数转换三种算法在SNN网络上的学习效果。论文的主要工作和创新如下:(1)提出了基于无监督STDP规则的层次性SNN网络模型,模拟了腹侧通路中视觉信息特征提取和识别分类的过程。利用脉冲卷积和最大池化操作并结合侧抑制连接,实现了皮层的层次性结构与“胜者为王”的竞争机制,使脉冲神经元能够提取具有特异性的视觉特征。借鉴生物内稳态机制,利用自适应阈值和权值缩放两种方法优化神经元的脉冲频率和突触权值,解决了SNN网络中的“稳定性与可塑性困境”。在MNIST和ETH-80数据集上的分类精度分别达到了97.58%和82.5%,超过了其它无监督规则训练的SNN网络。(2)借鉴生物大脑中多巴胺等神经调节物质的奖励作用,在SNN网络中实现了基于RM-STDP(Reward-Modulated STDP)规则和误差校正膜电位的两种奖励机制。通过引入奖励和惩罚信号,全局地控制STDP规则对权值的修正方向,使网络中被奖励(惩罚)的脉冲活动得到增强(减弱),网络权值朝着输出误差减小的方向变化,改善了无监督STDP规则的局限性,提升了SNN网络的分类性能。在MNIST和ETH-80数据集上分类精度达到了98.0%和88.4%,高于无监督STDP训练的SNN网络。(3)结合ANN网络与SNN网络的优点,实现了基于监督预训练参数转换的SNN训练方法,并利用内稳态机制补偿转换后脉冲神经元的累计误差。首先利用误差反传算法训练一个ANN网络,然后将规范化处理后的网络参数转换到相同结构的SNN网络中,实现了深层SNN网络的有效训练。针对转换后SNN网络出现的神经元脉冲频率减小等问题,利用权值缩放和自适应阈值两种内稳态方法有效弥补了深层神经元的累积误差,加快了SNN网络的仿真收敛速度,减小了模型转换的性能损失。