深度脉冲神经网络的主动学习算法研究及应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:flyby
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深层的脉冲神经网络由于其强大的特征提取能力,逐渐得到学者们的重视。训练高性能的深度脉冲神经网络(Spiking Neural Networks:SNNs)需要大量的标记数据,但在实验过程中给海量数据打标签是耗时耗力且高成本的一项工作。为了减少训练深度脉冲学习模型所需要的已标记数据量,提升训练模型的效率,本文旨在研究脉冲神经网络上的主动学习方法。目前基于传统人工网络的主动学习策略研究较多,却仍没有基于脉冲神经网络的主动挑选输入样本的相关研究。同时,由于传统人工网络和脉冲神经网络在特征表达和信息处理机制等方面存在本质上差异,因此现有的主动学习方法很多不能直接用于脉冲神经网络,部分算法在适配脉冲神经网络过程中存在性能较差局限。为解决这一问题,本文首次提出了一种基于深度脉冲神经网络的高效主动学习方法,该方法一方面能够很好的学习脉冲神经网络中时间脉冲序列对应的特征信息,另一方面能够筛选出样本池中最有价值训练样本。采用该方法,深度脉冲神经网络的训练收敛速度更快,同时可以较大大程度的增强模型的泛化性和鲁棒性。本文将该脉冲主动学习方法应用在图像识别领域,证明了方法的有效性。本文的主要工作如下:1)研究了基于深度脉冲神经网络的主动学习框架,该框架是一种任务无关的学习方法,能够应用在不同的模式识别领域。本文基于该框架实现了深度不同的两种脉冲主动学习模型,模型在时空域可基于梯度替代函数进行直接训练,并且模型参考了传统深度网络中的残差结构来解决脉冲网络梯度消失的问题。2)提出了一种深度脉冲主动学习算法。该主动学习算法通过固定轮次筛选能够得到样本池中给予深度脉冲神经网络最大信息量的数据,给这部分数据打标签的工作量和成本是实验人员能够接受和控制的,使用优选的数据训练模型使模型能够使模型迅速收敛且最大程度提高其泛化性和鲁棒性,当训练数据较少时更能体现出本算法优势。3)结合图像识别任务,在深度不同的两种脉冲主动学习模型上进行了主动学习的性能验证。论文在MNIST、Fashion-MNIST、SVHN和CIFAR-10四种难度不同的数据集上设置了两种对比综合实验。结果表明,深度脉冲主动学习算法的性能优于随机策略脉冲网络以及传统人工神经网络主动学习算法。
其他文献
自深度学习提出以来,得到科研人员和工业界广泛关注,在诸如计算机视觉等领域取得了飞速进展。图像分类任务则是计算机视觉中最为重要的任务之一,深度学习在解决图像分类任务方面涌现出了大量的经典算法。但是多数经典的算法需要大量已知标记的样本做支撑,一方面需要实际应用的有力支撑,同时需要耗费巨大的人力和财力。在减少标记需求方面,主动学习方法和迁移学习方法是常用的两种策略,但这两种策略均有相应局限:主动学习对样
学位
双酚A(BPA,Bisphenol A)是一种人工合成的生产原料,广泛应用于生产环氧树脂、聚碳酸酯等。BPA作为一种内分泌干扰物具有免疫毒性、神经毒性、致癌性等毒害作用,其生态环境危害备受关注。目前,去除BPA的方法主要有生物法、吸附法、光催化氧化法等。其中,光催化氧化法因操作简便,运行稳定,反应条件温和,降解能力强等被认为是最具前景的处理技术之一。二氧化钛(Titanium Dioxide,Ti
学位
镁合金作为最轻的结构金属材料,具有高比强度、高比刚度以及优良的导热性能和电磁屏蔽能力,受到了人们的极大关注。然而,镁合金因其HCP晶体结构,滑移系少,塑性成形能力较差,且强度不够高及耐磨性能差,极大的限制了镁合金的广泛应用。本文对Mg-6Al-3Zn-2Sn合金热压缩过程中的变形机制、时效处理对组织性能的影响以及摩擦磨损过程中亚表层微观组织演变这三个方面进行了研究,为高性能镁合金的开发和变形加工提
学位
当前,在水产养殖为全球提供大量优质蛋白质和促进经济发展的同时,其对环境的负面影响日益引起广泛关注。传统池塘养殖模式主要依赖换水维持养殖水环境,养殖尾水排放量大,水资源消耗严重。循环水养殖系统(RAS)利用硝化微生物构建自养型生物膜,实现氨和亚硝酸盐的有效去除与水资源重复利用,是水产养殖业的重要发展方向。与此同时,随着养殖密度提高和水域环境不断恶化,由细菌、病毒和寄生虫侵袭导致养殖生物疾病频发,部分
学位
现代工业厂房多为高大空间,采用控制整体热环境的空调系统往往会造成建筑能耗过高,运行成本上涨。为保证夏季高温环境中体力劳动者的身体健康,改善其热舒适性并提高其工作效率,可以通过局部冷却的方式实现对热环境的个体化控制。目前偏热环境下局部冷却对人员影响的研究,大多数针对办公等轻度活动水平,且对局部位置的热舒适研究不够完善。此外,由于局部冷却对人体相关热生理参数的影响缺少系统性的探索。对此,本文将以人员的
学位
视频质量增强算法一直以来是音视频研究领域的一个热点,传统的方法都是使用编码压缩算法对视频文件进行编码压缩,经过这种有损压缩的方式后,虽然视频文件的大小显著降低,但其在解码端呈现的图像质量却有待加强。一般来说,视频压缩算法的压缩比越高,那么节省的空间就越大,而损失的图像信息也就越多。由于深度学习技术的逐渐流行,越来越多的学者尝试在视频图像质量增强方面使用深度学习算法来寻找突破。本文提出了一种领域自适
学位
随着工业4.0的发展,信息化技术逐渐运用到工业,使得工业逐步向智能制造的方向发展,这也要求工业软件向智能化和云服务化的方向发展。NX平台也在向该方向发展。但是由于NX平台非开源、缺乏数据集,智能化仍处于探索阶段。NX Measurement是NX平台的测量系统,是NX平台的核心系统之一,如果能提高其智能化程度,就可以提高NX平台的便利性和用户体验感。基于以上背景,本文将通过推荐系统,对用户预期的测
学位
“固化/稳定化+填埋”是我国主流的垃圾焚烧飞灰处理技术路线。针对稳定化飞灰填埋区可能存在的覆盖层老化、破损,防水、防雨、防渗措施不完善等情况,构建了“模拟酸雨”和“模拟渗滤液”两种入侵外环境。以分阶段进水方式探究了模拟酸雨(硫酸-硝酸溶液)和模拟渗滤液(醋酸溶液)在6种典型渗流路径下对填埋螯合剂稳定化飞灰中重金属(Pb、Cd、Zn、Cu、Cr、Ni)浸出行为影响,并评估了液相和固相中重金属的潜在环
学位
基于机器学习的智能模型在出行、消费、医疗等领域已经有了广泛的应用,对人们的生活、学习以及工作都产生了深远影响,这都得益于人工智能的三大支柱算法、算力、数据的飞速发展。当人类思考问题时,会结合问题相关的空间关系、因果关系、科学事实和社会习俗常识等背景知识来分析问题,这类知识对人类来说微不足道,但是目前的人工智能模型仍然无法获取,近年来大量的研究开始尝试向智能模型中融入常识知识,常识推理问答成为了人工
学位
在这个信息“大爆炸”的时代,每天都会产生大量的信息,而图像是信息的重要载体。现实中许多图片包含丰富的信息量,往往有着不止一个标签,因此多标签图像的分类问题受到许多学者的重视。得益于深度学习的崛起,多标签图像分类也有了丰富的研究成果,并在医疗图像、智慧交通等领域成功应用。然而,深度学习方法普遍高度依赖于大量的标注数据,但在实际应用中,获取高质量的标注数据成本十分高昂。主动学习的核心目标在于通过合适的
学位