基于STDP的深度脉冲神经网络训练算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:lizq06
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
脉冲神经网络(Spiking Neural Network,SNN)也被称为第三代神经网络,它以脉冲事件驱动的方式实现了神经元突触计算,有望突破人工神经网络现阶段所面临的能源和吞吐量瓶颈问题,在机器人、自动驾驶、军事、航天等领域具有巨大的潜在应用价值。但SNN仍然存在着无法直接训练的难题。基于脉冲时间依赖可塑性(Spike-Timing Dependent Plasticity,STDP)规则的SNN训练算法,因其具有生理学基础且计算简单,是SNN的主要训练算法之一。但其仍然存在着在复杂数据集上的分类精度低,推理延迟大,以及难以实现更深层次网络等问题。为此,本文对带有奖惩信号的R-STDP算法、无监督和有监督STDP相结合的混合训练算法进行了研究,提出相应的解决方案,旨在进一步提升基于STDP规则的SNN训练算法的鲁棒性、学习效率和性能。本文主要研究内容如下:(1)提出一种具有混合奖惩信号的MR-STDP(Mix-Rewarding STDP)算法。针对R-STDP算法在训练深层脉冲神经网络时存在的反馈信号仅作用于网络末层的问题,利用自编码器及其无监督特性,在浅层中增加重构层以建立奖惩信号因子模型,通过比较卷积层和重构层的神经元脉冲发放时间,获取浅层网络权重调整的指导因子,并将其与R-STDP相结合,形成一种具有混合奖惩信号的MR-STDP。在MNIST和COVID-19 CT数据集上实验结果表明,该方法取得了比R-STDP更高的精度,且浅层网络的学习效率大幅提高。(2)提出一种无监督和有监督STDP相结合的混合训练算法。通过解析反向传播中的不可导项,明确不可导项的生物学意义,提出更具生物真实性的、且计算复杂度更低的不可导项的近似代替项。基于此,提出具有STDP规则的近似梯度下降训练算法,并将其与无监督STDP相结合,形成一种无监督和有监督STDP相结合的混合训练算法。实验结果表明,本文所提出的混合训练算法不仅提升了脉冲神经网络精度,还增强了网络的抗噪性,在MNIST和Fashion MNIST数据集上的测试结果表现出更好的性能。
其他文献
“水十条”的出台及双碳目标对燃煤电厂节能减排及废水零排放提出了更高的要求,开发经济且高效的水及废水处理及回用技术成为必然。膜电容去离子技术(MCDI)以低成本、高离子去除率的优点日益受到关注。以MCDI在电厂净水处理为研究对象,通过试验筛选,优化达到理想目标的运行操作边界条件,并以试验结果为基础,结合理论分析研究电吸附-再生过程的平衡度模型。结论如下:(1)利用层次分析法对影响膜电容去离子技术在电
学位
随着自动化成像设备的发展,数字图像处理被广泛应用于视频监控、智能交通等多个领域。在各种不可控的因素影响下,特别是天气因素和夜间等环境下,获取的图像往往会呈现出对比度低、亮度差、细节模糊不清和图像质量退化等问题,严重影响信息的传递以及自动化成像系统的性能。为了缓解这些问题,本文基于深度学习和Retinex理论的框架下,对低光照图像增强算法进行了研究。本文的主要研究内容如下:1、本文提出了一种基于Re
学位
红外热成像具备着全天时工作、抗干扰性良好、成像距离远、穿透力强劲、非接触式、不易被探测、对物体热辐射高敏感等优势,因此被广泛用于军用和民用领域。然而,由于成像目标自身的热辐射过弱及红外探测器自身的局限性,现有的成像系统输出的红外图像的分辨率通常低于可见光图像,导致红外图像的质量往往较低,存在空间分辨率低、均匀性差与立体感差、信噪比低、低对比度、易携带噪声、边缘细节模糊与缺失等缺点。因此如何高效地提
学位
北京冬奥会的成功申办极大地点燃了民众对冰上运动的热情,随之我国开始大力推动冰上运动的发展,近些年来我国室内冰场数量大幅上升,冰上运动场馆逐渐成为学者们研究的重点。同时,随着社会的发展,人们对体育场馆室内空气品质的要求越来越严格,冰上运动场馆由于冰面的存在,其室内空气环境复杂,十分容易出现空气品质问题,对冰上运动场馆室内空气品质进行研究具有重要意义。本文以冬奥会比赛场馆——国家游泳中心为研究对象,对
学位
随着奥运会在全球范围内影响力的提升,其对城市发展的推动作用也逐步扩大,对举办城市的交通、经济、文化等各方面发展都产生了深远影响,尤其表现在轨道交通设施的建设方面。轨道交通作为现代城市公共交通系统中不可或缺的组成部分,是一种大运量、高速度、行车间隔短的交通方式,且具有安全性、舒适性和准时性高的特点。同时,轨道交通在奥运会赛事期间承担关键的运输任务,保障奥运会的顺利举办。举办奥运会是一个城市乃至国家的
学位
文本生成图像任务是根据给定的文本描述生成图像,而图像修复任务是依靠受损图像中的残余视觉信息来生成受损区域。两个任务都是在给定的一个生成条件(图像或文本描述)下去生成高质量的图像。结合两个任务的优点,同时使用图像和文本描述作为生成条件,便衍生出新的图像生成任务(文本指导图像生成任务),其目标是将文本描述作为受损区域的视觉语义的补充信息来指导图像的生成。文本指导图像生成任务是具有多模态生成条件的生成任
学位
对于具有悠久的农业生产历史和广大乡村地区的我国来说,乡土建筑无疑是承载人民群众智慧结晶的瑰宝。然而在现代化不断推进的当代,大量的乡土建筑被千篇一律的钢筋混凝土建筑取代,“千村一面”成为了当代农村的常见面貌。对于一个活态的聚落,将其建筑风貌固定于某个时刻自然是不现实的,然而,任由其现代化导致建造传统的断裂也是令人惋惜的,于是,保护和发展成为了这些活态聚落面临的重要问题。在这样的背景下,本文将21世纪
学位
随着互联网用户的增加,用户之间交互所产生的数据慢慢累积,电子文本信息在互联网中呈现爆炸式的发展。当突发事件发生时,会有许多相关的事件信息在互联网中发布,如何从海量的文本中抽取结构化的突发事件信息也成为网络舆情分析的重要方面。目前突发事件抽取方法主要存在两个问题:一是在触发词抽取方法中,未能充分利用文本的上下文语义信息的重要性进行抽取。二是在论元抽取方法中,未能充分利用句子中的依存句法信息进行抽取。
学位
植物作为重要的食物来源、生态环境的重要组成部分,对人们的生活和发展息息相关。提高绿色植物表型的获取效率是现代智慧农业亟待解决的重要问题。高通量植物表型数据可以帮助研究人员对植物的生长状况进行定量分析。传统植物表型获取方法效率低下,操作繁琐且对植物存在一定的破坏力,影响植物的生长发育。基于图像处理技术的植物表型获取方法虽然在效率上取得一定的提高、并且也不具有破坏性,但是由于植物本身结构复杂,且生长环
学位
传统的有源像素图像传感器具有像素尺寸小、噪声低、灵敏度高的特征。但是基于帧的固定周期性读取方式,传感器的数据率和功耗会随着帧频和分辨率的提升呈现三次方的数量级上升,造成传输受限。脉冲图像传感器通过脉冲调制,将光强转换为时间域的脉冲输出,在同等数据带宽下完成了数据率的压缩,极大地提高了帧频。由于在固定阈值的触发输出形式下,脉冲图像传感器在随着光强增加灰度级损失严重,该噪声限制了脉冲图像传感器在高光强
学位