生成容错神经网络结构的多种方法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:shigang_fly1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习专用嵌入式计算系统的快速发展,以深度学习为驱动的应用正在从云端向边缘计算过渡,越来越多的嵌入式设备中嵌入了神经网络加速器。在复杂环境下将神经网络部署到嵌入式设备时,神经网络加速器可能会出现故障:比如由大气中子、放射性杂质、电压不稳定和器件老化等问题引起的软错误。因此,在安全关键应用中的嵌入式设备上部署神经网络的安全风险引起了人们的极大关注。所以,在神经网络模型在部署嵌入式设备之前,进行神经网络模型本身的容错性设计是非常必要的。一般神经网络容错性的设计,是从神经网络模型和神经网络结构搜索层面出发。对于神经网络模型层面来说,神经网络容错性设计已有的工作通常在神经网络模型中大量使用三模冗余技术来提高神经网络的容错能力,这种设计会引入大量的模型参数,并不适合部署在计算资源和存储资源匮乏的嵌入式设备上;对于神经网络结构搜索层面,其已有的工作只是搜索出分类性能很好的神经网络,并不能保证其容错性。为了解决上述问题,本文所做的工作总结如下:1、本文从神经网络模型出发,提出在神经网络模型中增加计算冗余结构超参数,通过贝叶斯优化的方法去优化这些超参数,最终获取附加在神经网络模型上最佳计算冗余结构,从而得到高容错性的神经网络模型。该方法在神经网络模型的错误注入率为1×10-4的条件下,使网络模型的精度下降不超过2.6%。相比全卷积层增加冗余保护的神经网络模型,该方法使神经网络模型部署在神经网络加速器上的平均计算量减少了37.7%。2、本文从神经网络结构搜索层面出发,搜索出容错性能更好的神经网络结构。与传统的容错硬件设计不同,本文利用神经网络固有的容错性,在神经网络结构搜索中结合错误注入指标,寻求对硬件故障容忍更好的神经网络结构。根据本文在MNIST、CIFAR10和CIFAR100数据集上的实验,以及在提出的容错神经网络搜索的错误注入率为1×10-4的条件下,最终搜索出来的网络模型预测精度比最佳基准网络分别高了19.08%、6.18%和12.53%,模型大小是基准网络的33%-85%。
其他文献
自晶体管发明以来,集成电路产业借此高速发展,近些年国家也是高度重视集成电路产业,大力扶持该产业的发展。随着技术的进步,IC的集成度在不断提升,因此对于制造一枚成品IC来说,需要越来越多的第三方的参与,包括在设计阶段第三方的EDA工具和IP核。但是随之出现的问题是,IC中可能会被留有“后门”,它对IC的安全具有高度的威胁。这些“后门”被称为硬件木马,它威胁着我们个人、企业和国家的信息安全。自有关硬件
学位
近年来,锂离子技术的发展因电极材料能量密度限制已逐渐走向饱和。在众多可替代电池技术中,锂硫电池凭借高比能量、原材料价格美丽和环境友好等优势发展前景广阔。然而,实现锂硫电池的实际应用仍面临巨大的技术挑战,这主要归结于硫及其放电产物(Li2S2和Li2S)导电性差,电池充放电过程中硫相变形成的副产物易扩散损失,电极体积膨胀及树枝状锂的形成等一系列问题。尤其是将载硫量提高到实际应用水平时,上述问题会愈发
学位
随着原有的应用领域不断扩大,以及新的应用领域的迅速发展,电源管理芯片的需求量也逐年上升。DC-DC降压转换器是其中至关重要的部分。它可以高效、准确地将电池电压转换为各种稳定的电压,从而满足负载要求。宽负载范围和高效率是DC-DC降压转换器的两个重要设计要求。宽负载范围使设备能够在复杂的负载环境中工作,而高效率可以延长电子设备的使用时间和寿命,并有利于低碳环保。根据宽负载范围和高效率要求,本文采用功
学位
硅基光电探测器具有高灵敏度、低功耗、与微电子工艺高度兼容等优点,在光通信、自动驾驶、生物医药等领域得到了广泛应用。但随着器件集成度的提高,热积累问题越来越受到重视,因此提升硅基光电探测器的热稳定性成为了需要迫切解决的问题。PdO为本征p型氧化物半导体,其热稳定性好,且光电性能优异,非常适合同n型硅组成异质结,构建高热稳定性的硅基光电探测器。本论文采用原位化学气相氧化法合成PdO薄膜,制备了PdO/
学位
随着数字化时代的到来,巨量的数字化信息在为人类谋取幸福生活的同时也逐渐加重了终端数据处理设备的负担。目前阶段,硬件资源和供电方面的限制成为终端设备性能发展的瓶颈,因此人类对于新型低功耗运算单元的需求日益迫切。近似计算作为一种新兴高效低功耗设计范式被提出,广泛应用于一些容错性较好的应用中(机器学习、数据挖掘等),近似计算通过选择性放松一定的精度,可有效降低功耗,提高电路性能。在各种计算和信号处理应用
学位
金属卤化物钙钛矿作为一种新型光伏材料,因其优异的光电性能在第三代新兴太阳能电池技术中得到了广泛的应用。在短短十几年间,钙钛矿太阳能电池得到了飞速发展,其光电转换效率迅速提高到25.7%。然而,有机-无机杂化铅基钙钛矿由于存在有机组分,容易受到水和热等环境条件的影响,进而产生不可逆的分解。另一方面,铅的毒性可能会影响自然环境和公众健康。基于以上考虑,人们将注意力转向高稳定的无机无铅钙钛矿太阳能电池的
学位
随着集成电路的发展进入到后摩尔时代,FinFET制造工艺逐步取代平面CMOS工艺,成为了主流的集成电路制造工艺。FinFET器件的使用,在提升集成电路性能的同时,进一步降低了功耗和面积开销。然而特征尺寸的缩减、集成度的提高、电源电压的降低以及电荷共享机制,导致集成电路对于辐射引起单粒子多点翻转等单粒子效应问题愈发敏感。尽管许多应对单粒子效应的加固设计方案已经被提出,但对于FinFET器件的单粒子效
学位
随着软抓取、灵巧操作等复杂任务在软体机器人领域中的广泛渗透与日益频繁,软体灵巧手已成为机器人技术的研究热点。为了实现抓取物特征识别和精准控制,需要具有宽工作应变范围、高灵敏和良好稳定性的柔性应变传感器赋予软体灵巧手本体感知功能。本文设计了基于银纳米颗粒-聚多巴胺-碳纳米管(Ag NPs-PDA-CNT)的敏感材料体系,制备导电材料浓度呈梯度分布的PDMS基三明治型柔性应变传感器,用于实现软体灵巧手
学位
随着半导体工艺和集成电路技术的不断发展,便携式电子设备开始进入越来越多人的生活中,电源管理芯片作为电子设备的重要组成部分,已然成为微电子领域备受关注的问题之一。低压差线性稳压器(Low dropout regulator,LDO)是电源管理芯片的一个分支,因为其功耗低、噪声小、结构简单、成本低廉等众多优点在电源管理芯片市场上始终占据着重要的地位。目前,如何提高LDO的精度、瞬态响应速度、负载能力以
学位
灵敏度是基于有机场效应晶体管(OFET)气体传感器的重要参数。高灵敏度能够使得传感器对外界气体浓度变化迅速产生响应,对目标气体的阈限值或最低爆炸限的监测具有重要意义。三组分共轭聚合物广泛应用于制备双极型有机半导体和太阳能电池,而将其应用于OFET气体传感器的研究较少。本论文制备了基于联噻吩-氮杂异靛蓝-双(2-氧代二氢-7-氮杂吲哚-3-亚基)苯并二呋喃二酮的三组分给体-受体共轭聚合物(BTNID
学位