深度卷积Spiking神经网络模型研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:jendychan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Spiking神经网络(SNN)模仿了大脑中神经元通过自适应的突触连接发射脉冲进行信息转换的机制,被誉为第三代神经网络。相比依赖高耗能图形卡进行训练的传统神经网络,由于脉冲(spike)在时间和空间上是稀疏的,Spiking神经网络可以通过低功耗的专用硬件进行实现。Spiking神经网络已被用于图像识别,目标检测和语音识别等领域。如何让Spiking神经网络达到媲美传统神经网络的表现是目前研究的热点。使用Spiking神经网络时需要将输入编码为脉冲序列,最后将网络输出的脉冲序列进行解码。虽然目前已经提出了许多Spiking神经网络的学习算法,但很少有工作研究注意到了Spiking神经网络的编解码方法。本文借鉴了传统深度卷积神经网络的设计,分析了Spiking神经网络传统编解码方法的局限性,提出了深度卷积Spiking神经网络编解码的相关设计,并用于图像识别任务中。本文的贡献主要包括:1.可学习的卷积编码层:传统脉冲编码主要包括频率编码如泊松编码,时间编码如延迟编码等。相较于传统编码方式具有的确定性,本文提出的卷积编码层具有可学习性,编码方式更加灵活,可针对不同特点的数据集设计不同的卷积层进行脉冲序列的编码。在模拟时长较短时,卷积编码层也不会出现传统编码中编码性能受损的问题。2.多尺度编码的模型结构:由于现存的深度Spiking神经网络学习算法能达到的网络深度有限,无法像传统深度神经网络那样动辄上百层甚至上千层,因此对于Spiking神经网络模型架构的探索上,考虑加宽网络可能相比一味地加深网络更有效。在可学习的卷积编码层的基础上,本文通过设计不同参数的卷积编码层进行多尺度的脉冲序列编码,加宽网络结构,从输入的图像中编码提取更加丰富的特征馈送进网络中,并通过特征融合层将多尺度的特征进行融合,使得网络的效果得到提升。3.时间加权频率解码:Spiking神经网络一般使用频率解码或者时间解码,然而这两种解码都仅能利用脉冲频率信息或脉冲时间信息中的一种。本文结合了频率解码和时间解码的特点,提出了时间加权频率解码,能够同时利用脉冲序列中包含的频率信息和时间信息。解码过程融入到了网络的训练过程中,做到了端到端。
其他文献
针对人工智能实际应用环境中的数据孤岛效应和数据隐私保护,联邦学习框架应运而生。本文研究了基于卷积神经网络的联邦学习算法,主要包括:(a)针对个性化,研究了联邦学习的框架下多个客户端联合训练,最终为每个客户端学习其对应的个性化模型;(b)针对通信瓶颈,研究了联邦学习中的通信压缩。具体的主要研究内容如下:(1)本文提出了基于子类个性化的联邦学习算法(Subclass Personalized Fede
基于会话的推荐系统作为一种有效的技术手段可以帮助用户发现与其当前会话中兴趣相关的物品。与传统推荐系统相比,会话推荐由于能够仅根据在进行的会话期间观察到的用户行为来进行推荐而具有高度实用性,受到研究者的广泛关注。当前研究主要将基于会话的推荐任务建模为根据现有点击序列数据预测用户的下一次点击问题,主要采用基于深度神经网络和表示学习的方法,利用会话中的物品点击序列提取与用户兴趣相关的特征,生成用户最可能
Spiking神经网络(SNN),作为第三代人工神经网络(ANN),模拟了大脑中神经元的信息处理方式,具有高度的仿生性和生物可解释性。相比于第一代ANN(使用M-P模型作为网络的计算单元)和第二代ANN(通过非线性的激活函数来处理线性不可分问题),SNN因为其独特的信息编码和处理的方式,具有更强大的计算能力。但是目前常见的SNN模型在计算上都非常复杂,不利于网络模型的扩展,而且也缺乏比较高效的算法
随着深度学习方法的不断突破,计算机辅助诊断技术在医学影像分析领域得到越来越多的发展。医学影像分析作为计算机辅助诊断技术的关键,其依赖的是基于图像处理技术的深度学习方法,本文涉及的膀胱镜肿瘤影像分析更是依赖基于深度卷积神经网络的多目标检测方法。但膀胱镜检影像样本和标签数量无法摆脱欠缺的问题,面临着小样本场景下的膀胱肿瘤感知技术难题。本文立足于深度卷积神经网络,从小样本场景的多目标分类和检测着手,重点
近年来,深度神经网络模型已经能在各种分类任务中达到很高的准确率,然而最近的研究表明,深度神经网络容易受到对抗样本的攻击,攻击者只需在干净样本中添加一些人眼无法识别的微小扰动,就可以生成对抗样本,从而轻易地使深度神经网络模型对其产生错误分类,随着深度神经网络广泛应用于各个领域,对抗样本使这些深度神经网络系统面临巨大的安全威胁。因此,为了减少对抗样本对神经网络的影响,提高神经网络的鲁棒性,对深度神经网
随着智能交通系统的不断发展,我国的交通管理也在不断进步,现已有很多城市普及安装了一体化自动识别车牌系统。车牌识别是智能交通重要的一环,往往起决定性作用。车牌识别应用现状主要在固定的条件下进行,如对小区门口进出车辆的车牌识别。随着适用场景范围的扩大,车牌识别技术面临着更多的问题。目前,摄像头拍摄的图像采集技术已经相当成熟了,但当应用场景的需求扩大后,车牌定位和识别技术仍然需要进一步发展。随着人工智能
命名实体识别和关系抽取是自然语言处理领域中两项主要的信息抽取任务,旨在从无结构文本中抽取实体和关系,由它们共同组成的关系三元组可以直接应用于知识图谱的构建,同时也在信息检索、问答系统等上层应用中起着至关重要的作用。通过对现有算法的设计思路和建模机制进行深入分析后,发现这些方法存在以下几个不足之处:第一,传统研究方法将命名实体识别和关系抽取以管道的方式分两步处理,采用两套不同的模型结构及参数,割裂了
语音识别系统已经成为了人们工作、学习和生活中行之有效的工具。智能手机微信的语音输入辅助、智能家居的声控电视、声控的行车导航系统和自动会议语音转录系统等都是它可以被应用的场景。但语音识别系统仍有不少瑕疵,这使它不能很好的落地和应用到需要的场景中去。变化的噪声类型、低信噪比和说话人种类等声学条件极大地影响了语音识别系统的性能。因此,一个好的语音增强模块可以成为语音识别系统重要的前端。但是,基于映射的语
卷积神经网络近几十年有了很大的进展,性能越来越强劲,应用场景越来越多。但是与此同时,卷积神经网络的结构也变得越来越宽,越来越深,参数量越来越大,这对运行该卷积神经网络的设备的算力和内存资源也提出了要求。这种情况很大程度上阻碍了其实际应用。因此,对神经网络模型进行压缩,使得性能优异的神经网络模型也能在资源有限的条件下使用,这对于深度学习算法的应用意义重大。在本文中,我们提出了两个对卷积神经网络的结构
近年来,伴随着生成对抗网络的进一步发展,我们日常生活中的越来越多现象都可以结合生成对抗网络来进行“智能创造”,比如图像领域中的从语义生成图片、图片风格化、图片特征编辑等创新型工作。本文则是对图片特征编辑这个领域中的人脸老化/年轻化预测的工作进行系统性的探究。在调研了国内外近年来的相关研究课题后我们发现,当前的人脸老化/年轻化预测算法还存在着生成图片清晰度不够、个人身份特征在转换过程中损失较严重、年