基于特征重要性分析的可解释鲁棒模型压缩算法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:liongliong457
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,随着计算资源的提升和大数据的发展,深度学习模型执行任务的能力也得到了较大的提升。在计算机视觉研究中,例如图像分类、目标检测、图像分割等任务,卷积神经网络模型表现出了非常优异的性能,尤其在某些任务中其执行能力可以超越人类的感知能力。然而随着终端部署的需要,深度模型占存大、运行速度慢等问题逐步凸显。深度模型压缩算法通过将模型参数剪枝去除或者转换为低精度数据类型等方式,将模型的占存压缩到较低水平,同时提升模型运行速度。另外卷积神经网络模型拥有庞大数量的参数,并且这些参数是通过梯度的反向传播逐步自动进行更新,这使得神经网络的归因可解释性和鲁棒性得不到保证。在模型压缩过程中,若不考虑模型的归因可解释性和鲁棒性,将会导致压缩模型在部署中面临严重的安全问题。本文围绕模型压缩算法及其压缩过程中的归因可解释性和鲁棒性研究进行展开,提出如下工作:(1)提出了面向卷积神经网络的可解释性剪枝压缩方法:对卷积神经网络实施结构化剪枝的目的是去除冗余的卷积核,使模型能够在终端成功部署。模型结构化剪枝过程中最重要的步骤便是要明确剪去哪些卷积核,而现有的卷积核选择算法没有考虑卷积核的语义特性,最终将会导致模型的归因可解释性在压缩过程中遭到严重损害。因此,我们提出一种卷积神经网络的可解释性剪枝压缩方法,在卷积核重要度评价的过程中,引入图像的像素级标签来计算卷积核的归因可解释性,将模型中与因果特征相关度较低的卷积核进行裁剪,以实现模型压缩的目的,同时也能够保留原模型的归因特征。(2)提出了面向卷积神经网络的鲁棒性剪枝压缩方法:深度网络模型易受噪声特征攻击,尤其压缩模型只保留了原模型的部分特征空间,故而更容易被对抗噪声所干扰,所以模型压缩中鲁棒性的保持甚为重要。然而近几年研究者倾向于利用网络结构搜索算法提升压缩模型的鲁棒性,这将对硬件提出较高的要求。因此,我们提出一种卷积神经网络的鲁棒性剪枝压缩方法。该方法引入噪声特征,用于评价卷积核对抗噪声敏感度,最终剪枝去除易受噪声特征干扰的卷积核,以达到模型压缩的目的,同时也最大程度地保留了原模型的鲁棒性。经实验证明,该方法可以有效提升剪枝压缩模型的鲁棒性。(3)提出了面向卷积神经网络的可解释鲁棒量化压缩方法:深度模型非结构化剪枝压缩和量化压缩的处理对象是细粒度的参数,这将导致两种压缩方法得到的模型更容易丧失可解释性和鲁棒性。因此,我们提出一种卷积神经网络的可解释鲁棒量化压缩方法,该方法可以监督非结构化剪枝阈值和量化比特数的选择,最终实现模型的可解释鲁棒性量化压缩。具体地,我们首先利用网格搜索法设置非结构化剪枝阈值和量化比特数,并根据剪枝阈值和量化比特数对模型进行非结构化剪枝压缩和量化压缩,然后对稀疏化模型和量化模型进行可解释鲁棒性评价,最终选择便于部署的可解释鲁棒模型。经实验证明,该方法可以权衡可解释性、鲁棒性和压缩率之间的关系。
其他文献
随着传统作战方式和战术打法的改变,在主力部队之前负责勘测前方地形信息和侦察敌军信息的战地路面勘测车越来越重要。由于战地路面勘测车等军用车辆的使用环境特殊,需要对其挡位决策关键技术做针对性的优化研究:以提高车辆动力性和安全性为目的,确定典型路面表征参数,对比分析不同换挡策略,最终得到特殊路面状况下满足战地路面勘测车动力性要求的换挡策略。研究结论可为战地路面勘测车实车开发提供一定理论指导。论文围绕某型
随着对跨海交通需求的日益增长,作为主要跨海交通方式之一的海底隧道已得到广泛应用。为保证施工安全,海底隧道往往深埋于海床下方,隧道突涌水及高水压力是海底隧道面临的主要问题。制定合理可靠的结构防排水系统,确定衬砌外水压力及结构内力是海底隧道建设的关键,本文基于现有研究成果,依托青岛地铁8号线海底隧道工程,采用理论分析、数值计算和现场试验结合的方法,研究海底隧道复合式衬砌水压力分布规律及结构受力特征。主
车载中心化列控系统作为以系统简约化、列车智能化为技术导向的新型方案,在近年来随着我国对西部铁路网建设工作的推进而日益受到关注,其应用于实际工程中的需求也愈加迫切。在近年来相关领域的研究中,该方案分散进路控制模式下存在的线路资源冲突问题因其对运营效率的制约而成为应用研究的关键。新型列控方案提出由列车通过车载联锁实现自身进路的办理。这种关于有限资源的分散式征用架构,正与博弈理论认为各参与者具备自主决策
燃料电池汽车因其无污染零排放,得到了快速发展,然而,限制燃料电池汽车商业化的一个主要因素是燃料电池耐久性问题,兼顾整车动力性,经济性及电池使用寿命是氢燃料电池汽车科研领域的难题。本文以增程式燃料电池轿车为研究对象,针对燃料电池性能衰减问题,研究燃料电池衰退机理以及燃料电池健康状态(SOH:State Of Health)估计方法,并基于对SOH的识别,提出了基于燃料电池健康状态的整车能量控制策略,
学位
转辙机是铁路系统中最重要的机电设备之一,存在动作频繁和工作条件复杂的特点,若出现故障会对铁路运营造成严重影响。但目前采用的维修方式多为基于经验知识的方法,基于专家或工作人员的经验判断故障类型,再进行维修,具有依赖人工以及效率低下的问题。为解决上述问题,并实现对故障的预测,以降低维修成本,保障铁路安全高效运营,本论文对转辙机的故障诊断和故障预测进行了研究。(1)转辙机工作原理的分析及数据预处理。研究
钩缓装置作为铁路货车的重要组成部分,其检修设置的科学性影响车辆运行安全和运行成本。随着高速重载战略的不断推进和货车运用量的增加,给货车钩缓装置的维修管理带来了巨大挑战。既有的定期全列检修策略缺乏充分的科学依据且难以满足精细化管理要求,亟需制定新的维修策略。但由于钩缓装置部件多,结构复杂,前期失效规律研究积累有限,难以得到维修策略优化模型的解析解,且模型的实际应用能力受限。为此,本文利用蒙特卡洛仿真
机器翻译是利用计算语言学技术,将源语言自动翻译成目标语言的一项技术。鉴于机器翻译的深远研究意义和广阔应用前景,产业界和学术界都将其视为重点的研究方向,成为当前自然语言处理最具有挑战性的研究领域之一。伴随着近几年神经网络技术的大力发展和数据资源的进一步丰富,基于神经网络的机器翻译系统(Neural Machine Translation,NMT)已经逐渐成为机翻翻译领域的主流方法。然而目前的神经网络
当前,交通拥堵已成为各大城市的“通病”,由此引发的交通污染、交通安全等问题也严重困扰着城市的发展。ITS作为缓解交通拥堵的有效措施,近年来越发受到重视。作为ITS的重要功能,交通控制与诱导能够从微观意义上调整交通管理控制方案,其调控策略的成效就依赖于短时交通流预测的结果。本文针对快速路交通流特性,提出基于时钟循环神经网络的多车道短时交通速度预测模型,并在此基础上渐进式地完善模型,兼顾预测精度与效率
机车信号设备作为列车运行控制系统的重要组成部分,在保障行车安全方面起着重要的作用。随着高速和重载铁路的发展,电磁干扰愈发严重,机车类型更加多样,在特定骚扰环境下,传统的滤波方式不能快速有效滤除有用信号频带内的噪声,现有的机车信号解码方法已难以满足需求。在此背景下,本文基于机车信号的时域频域特点及干扰耦合方式,结合深度学习技术,提出了基于优化的去噪卷积神经网络(Denoising Convoluti