忆阻神经网络模型鲁棒性研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:rkn7621278
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
得益于数据、算法和算力三大助力的发展,以神经网络为代表的人工智能算法与模型得到了快速发展。深度神经网络在图像分类、语音识别以及机器翻译等领域已经取得了媲美人类的水平,各类基于深度神经网络的智能应用也在不断落地与发展。然而,随着移动互联网、5G以及物联网等技术的出现与发展,需要处理的数据急剧增加,同时神经网络的参数量与计算量也在快速膨胀,这对承载神经网络的硬件计算平台提出了更高的要求。传统的冯·诺依曼计算架构由于“存储墙”等问题的存在,逐渐不再满足基于神经网络的智能应用在性能和功耗等方面的要求。由于具有存算融合、大规模并行运算等特性,基于忆阻神经网络的神经形态计算具有高性能、低延迟、低功耗等优点,从而能够适应并进一步推动神经网络的发展与应用。目前忆阻神经网络在模型构建、电路设计以及硬件部署等方面都取得了长足的进步,已经成为新型计算构架中的研究热点。然而忆阻神经网络在实际应用中还面临着来自于模型外部和内部两方面的鲁棒性挑战。具体来讲,普通的忆阻神经网络无法区分分布外输入和对抗样本等异常输入,如何在硬件实现可行性等约束下实现对应的检测与防御是一个难题。同时,由于材料制备工艺的限制,忆阻神经网络还面临着由于器件非理想特性导致的权值扰动等内部鲁棒性问题。这些问题会对模型的可用性和稳定性产生严重影响,已经成为阻碍忆阻神经网络在实际应用中进一步发展的重要因素。针对以上这些问题,本文主要通过模型结构改进、训练算法设计、权值参数优化和硬件电路设计等方法提升忆阻神经网络的鲁棒性。本文完成的主要工作与创新点包含以下几个方面。(1)针对分布外输入问题,本文将深度神经网络的特征提取能力和与径向基神经网络的高维映射能力有机结合,提出了一种能够有效提升神经网络分布外检测能力的两阶段训练算法。所提出的算法通过“先引入,再删除”的策略,在不增加模型复杂度的情况下有效地利用了神经网络的中间层特征信息;本文还设计了相应的正则项,使得模型输出能够实现类内距离最小化和类间距离最大化;更进一步地,本文设计了对应的硬件电路实现方案,其中巧妙地利用神经网络的拟合特性实现了径向基神经网络,为具有分布外检测能力的忆阻神经网络模型提供了一种可行的硬件电路实现方案;最后,通过实验验证了所提出的算法只需一次前向传播就能够取得最前沿水平的分布外检测性能。(2)针对对抗样本问题,本文首先通过一系列实验发现并验证了各类别图片在神经网络内部具有相对稳定的特征轨迹,进而利用特征轨迹可视化了对抗样本从原始类别到目标类别的演化过程;之后利用图像频谱分割技术,从特征轨迹的角度发现图片高频部分在对抗样本生成过程中占据了主导地位;并通过高低频图片的交叉训练测试,证明对抗样本的产生原因是形成了目标类别中广泛存在的高频模式;探索对抗样本的深层次产生原因有助于理解神经网络的运行机理并提升其鲁棒性。最后我们进一步改进了所提出的分布外检测算法,在保持其分布外检测性能的前提下,实现了对对抗样本的有效检测,为构建同时对于分布外输入和对抗样本均具有鲁棒性的忆阻神经网络提供了一种可行方案。(3)针对忆阻器非理想特性问题,本文聚焦于忆阻器的器件偏差、读写扰动和电导漂移等问题,提出了一种基于贝叶斯神经网络与量化正则项的模型优化方案,有效提升了忆阻神经网络对于权值扰动的鲁棒性。我们首先将这些非理想特性对神经网络的影响抽象为模型层面的权值扰动问题,受贝叶斯神经网络权值分布与忆阻神经网络权值扰动之间相似性的启发,提出利用贝叶斯神经网络来优化网络的权值,使得优化后的忆阻神经网络对于权值扰动具有较高的容忍度;为进一步减少离线部署过程中的量化损失,我们设计了两种量化正则项并将其加入到贝叶斯神经网络训练中,使得网络权值在训练过程中能够自动聚集在目标量化值附近,从而进一步提升了模型的鲁棒性。此外,针对贝叶斯神经网络较难优化的问题,提出了预训练和分层训练的策略,使得提出的优化方案能够推广到较大的网络。最后我们通过一系列的实验验证了所提出的优化方案能够大幅提升忆阻神经网络对于权值扰动的鲁棒性。本文分别从模型外部异常输入和内部权值扰动两方面对忆阻神经网络的鲁棒性进行了深入研究,相关研究成果可为忆阻神经网络在实际中的应用提供可行的鲁棒性保障方案,进一步推动相关硬件计算平台在实际中落地与发展。
其他文献
主要探讨了聚羧酸减水剂的工作原理,以及在混凝土施工中的应用,通过试验和理论分析,研究了聚羧酸减水剂对混凝土用量、强度、耐久性、早期强度和硬化时间等方面的影响,提出了减水剂用量及混凝土配比的优化建议。
期刊
近年来,金属卤化物发光材料因具有结构多变、电子结构可调、光电性能优异等特点,在太阳能电池、发光二极管(LED)和光探测器等光电领域展现了很好的应用前景。其中,金属卤化物单晶材料因为其热稳定性优异、易合成等特点而备受关注。然而与目前研究最多也最为经典的铅基纳米晶材料(CH3NH3PbX3,CsPbX3,X=Cl,Br,I)相比,在发光性能上还存在着一定的差异。为了改善金属卤化物单晶的发光性能,实现其
学位
世界柑橘业发展迅速,2019年柑橘年产量已达1.58亿吨,尤以甜橙(Citrus sinensis)产量最高,约占一半。除小部分用于鲜食外,绝大多数甜橙都被用于生产橙汁、果酱和果脯等产品。锦橙(C.sinensis Osbeck)是大量种植于中国川渝地区的柑橘亚种,因皮薄肉多、酸甜适中、味浓多汁和几乎无核等特点被广泛用于生产各种加工产品。然而,锦橙在加工过程中会产生大量副产物,尤其是果皮,可占果实
学位
玉米是全球仅次于小麦和水稻的第三大经济作物,是粮食产业重要支柱之一,也是畜牧饲料、酒精、淀粉等多种产业的重要原料。玉米及其产品极易感染真菌而产生玉米赤霉烯酮(Zearalenone,ZEN)等真菌毒素,且近年来发现其往往同时污染有隐蔽型ZEN,严重影响玉米、饲料、酒精、淀粉等产业的安全和发展。因此隐蔽型ZEN的有效防控是保障消费者健康及动物饲料、淀粉、酒精生产等各种产业安全的关键措施之一。根据真菌
学位
为评价沉水植物对去除养殖尾水中残留抗菌药的作用,改进了QuEchERS前处理方法,建立了沉水植物中恩诺沙星和环丙沙星含量HPLC检测方法,采用模拟生态研究了恩诺沙星残留在沉水植物体内蓄积、代谢和消除规律。优化了不同提取液、萃取盐和提取时间对回收率的影响,考察了不同净化剂的净化效果。以外标法进行定量,沉水植物中恩诺沙星和环丙沙星回收率分别为79.60%~110.15%和57.26%~102.00%,
期刊
实验哲学是一种新型的自然主义哲学,主张运用实验方法研究传统的哲学问题。和基于量化分析的主流实验方法有所区别,我们将实验哲学方法扩张为量化分析、质性分析、苏格拉底对话法和概念论证相结合的四重证据法,这就和中国考古学研究中所提倡的四重证据法遥相呼应。一方面,从实验哲学方法来看,考古学方法实际上只具有三重证据,而非所声称的四重证据。另一方面,反思考古学和历史学的关系也为重新看待实验哲学与传统哲学之间的关
期刊
移动通信技术的发展和移动智能设备功能的多样化使得智能移动网能为人们提供方便、快捷、有效、多样的服务。这些计算密集、数据密集和延迟敏感的服务在移动边缘网络中产生大量计算任务和数据请求任务。然而移动智能设备本身的计算、存储和能量资源并不能满足这些任务的需求,从而不能保证用户的体验质量。移动边缘计算虽然在一定程度上解决了上述的智能移动网络当前的资源短缺,但是其有限的资源也带来了一些新的问题。首先是边缘云
学位
1研究背景神经退行性疾病或神经系统损伤是一类以神经系统结构损伤和功能障碍进行性发展为特征的疾病,包括阿尔茨海默病,肌萎缩侧索硬化,血管性痴呆,帕金森病和中风等。有关大脑的研究是医学研究的前沿尖端领域。美国2013年启动了“脑计划”(BRAIN Initiative),中国拟投资数百亿推动“2030脑科学与类脑研究”(Brain Science and Brain-Like Intelligence
学位
甘薯(Ipomoea batatas Lam.),为旋花科甘薯属一年或多年蔓生草本植物,是继水稻、小麦、玉米和马铃薯之后的第五大粮食作物。据FAO统计,2019年我国甘薯种植面积和总产量分别为237.4万公顷和0.52亿吨,均居世界首位。在我国,甘薯主要用于生产淀粉及其制品,在此过程中产生的薯渣大部分被直接丢弃,优质资源未得到有效利用。甘薯渣富含淀粉、膳食纤维、蛋白质等物质,是微生物生长代谢的良好
学位
社会经济的高速发展显著改善了人们的物质生活水平,却也带来了更加快节奏的生活方式。生活节奏的加快压缩了适婚个体可以用于寻找心仪伴侣的时间,而寻找心仪伴侣本身又是一项非常耗时且极具挑战性的任务。因此,快节奏的生活方式无形中增加了适婚个体找到心仪伴侣的难度,降低了适婚个体进入婚姻的意愿,进而降低了适婚青年群体的结婚率。互联网时代的到来,为这一问题的解决带来了新的思路和方法。随着互联网时代的到来,越来越多
学位