深度脉冲神经网络的直接式监督学习算法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:huayi8888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
脉冲神经网络具有生物相似性,拥有强大的时间和空间特征处理能力,采用基于事件驱动的处理模式,是运行在高效的神经形态硬件的理想模型。然而,由于脉冲神经元模型的不可微性,直接训练深度脉冲神经网络一直是个难题。高效的学习算法和训练平台的缺乏,阻碍了深度脉冲神经网络的广泛应用。为此,本文针对深度脉冲神经网络提出了端到端的直接式监督学习算法,具体而言,本文的创新点和贡献如下:(1)本文提出了一个基于离散LIF神经元模型(Leaky Integrate-and-Fire neuron model)和替代微分的学习算法来直接训练深度脉冲神经网络,同时权衡了计算效率、训练速度和目标精度。本文提出了编码器-解码器的网络架构,通过编码器对输入脉冲序列进行特征抽取,通过解码器将脉冲输出为频率,从而能够实现多种任务的输出。(2)本文基于离散C-LIF(Current-based LIF)神经元模型,优化了网络架构,使其支持脉冲和非脉冲输入。当网络输入非脉冲数据时,编码器自动将其精确地编码为脉冲。实验结果表明,本文的学习算法在动态神经形态数据集MNIST-DVS和DVS-Gestures上分别取得98.40%和95.83%的分类准确率,在静态图像数据集MNIST和SVHN上分别取得99.58%和95.97%的分类准确率,与目前最好的结果同一水平。(3)本文提出了反向过程优化和逐层冻结的加速策略,提升了训练效率并降低了功耗。反向过程优化包括等步长反向过程和随机反向过程两种方法。逐层冻结采用自适应学习率优化算法和预设间距的方式实现,预设间距包括等间距、二次递增间距和二次递减间距。实验结果表明,在准确率同一水平下,单一策略最高可降低耗时42.6%,组合策略最高可降低耗时60.0%,大大提高了训练的效率。
其他文献
基于结构方程的模型,本文通过分析影响绩效考核的因素,提出了德、能、绩、勤四个结构变量,每个结构变量下面又有若干个观测变量,构建了银行员工绩效的综合评价模型,并采用偏最小二
提出了一种小波分析与Hilbert解调谱相结合的分析方法,并应用于齿轮故障特征的提取。依据齿轮箱故障机理和频谱特征,采用小波变换将信号分解后在不同频带进行分析,实现齿轮故
电化学或光电化学半导体催化剂广泛应用于降解污水中的有机与无机污染物,有望实现低能耗且高效的污染物降解.目前,已有多种异质结半导体光催化剂的研究报道,并且大多数的研究
芳烃是一类重要的有机化工基础原料,通常采用传统的石油路线生产芳烃,包括催化裂化和催化重整等工艺.由于石油资源的紧缺,以可再生资源为原料生产芳烃工艺的发展具有十分重要
硫化镉(CdS)作为一种对可见光响应的窄带隙半导体(带隙宽度约为2.4 eV),具有合适的能带位置,近年来受到越来越多的重视.然而在光催化过程中,光生电子与空穴的快速复合极大地
含氯挥发性有机化合物(CVOCs)是对人体健康和环境危害极大的有机化合物.常见的有二氯乙烷、三氯乙烯、三氯甲烷、四氯化碳和氯苯等.有些CVOCs是“三致”(致畸、致癌、致突变)
近年发展起来的低能耗、高效率的光催化技术为解决环境污染和能源短缺等问题提供了新途径.在众多光催化材料中,非金属石墨相氮化碳(g-C3N4)半导体材料因其化学稳定性和热稳定
<正>"解放军怎么这么燃。"一条仅185秒的视频,在上线视频网站哔哩哔哩(简称B站)之后,获得了52.7万播放和5400多条"弹幕"。视频中,实弹演习的人民解放军英姿飒爽,让观众热血沸
商人出生在一个嘈杂的贫民窟里,和所有出生在贫民窟的孩子一样,他爱好争斗、喝酒、吹牛和逃学.惟一不同的是,他天生有一种赚钱的眼光.他把一辆街上捡来的玩具车修整好,让同学
本文引入国外先进的“心理资本”管理理念和测量方法,选取BG大学教师作为研究对象,并采用了相关的调研方法,深入浅出地进行了数据分析,为高校管理者更全面地认识其管理对象提供了