【摘 要】
：
近年来,深度卷积神经网络推动了人工智能的快速发展,但神经网络模型庞大的参数量和计算量,严重制约了其在资源受限的移动嵌入式设备端的应用和部署。庞大的市场需求,促使越来越多的学者聚焦于神经网络压缩与加速的研究。本文致力于基于量化的神经网络压缩与加速算法的探索,基于参数量化技术,分析量化误差,并据此提出提高量化模型性能的优化算法。本文研究内容和创新点如下:（1）基于渐进优化的量化算法。现有自动混合精度量
论文部分内容阅读
近年来,深度卷积神经网络推动了人工智能的快速发展,但神经网络模型庞大的参数量和计算量,严重制约了其在资源受限的移动嵌入式设备端的应用和部署。庞大的市场需求,促使越来越多的学者聚焦于神经网络压缩与加速的研究。本文致力于基于量化的神经网络压缩与加速算法的探索,基于参数量化技术,分析量化误差,并据此提出提高量化模型性能的优化算法。本文研究内容和创新点如下:（1）基于渐进优化的量化算法。现有自动混合精度量化算法聚焦于搜索算法,忽略了庞大的搜索空间和性能评估准则不精确的问题。为了缩小搜索空间,本文从渐进优化的角度,分析量化截断误差和舍入误差对于量化模型性能的影响,发现对于给定的模型,量化截断误差是个常数,而量化舍入误差是量化精度的函数。基于此,本文提出了一种有限误差的渐进优化量化算法。为了解决性能评估准则不精确的问题,本文基于量化损失分析和推理,提出了一种基于海森矩阵的性能评估准则,将Adam的二阶梯度作为代理信息,降低了海森矩阵的计算复杂度。该方法以端对端的方式得到满足硬件约束的模型。严谨的数学推导和对比实验,证明了本文所提出的算法的合理性,性能远超当前主流算法。如:在ResNet-18的网络模型上,在实现了 1019×的搜索空间缩减的同时,模型性能评估准则的计算效率提升了 12倍,混合精度模型仅损耗0.3%的性能,同时获得了 5.7倍的压缩收益。（2）基于分布感知的量化算法。本文从量化截断参数优化的角度提出了针对底层视觉任务的量化算法,旨在解决:神经网络非正态离散激活值分布,对量化训练不友好的问题。基于对特征分布的分析和研究,发现可利用梯度信息,动态感知特征图分布变化,提出了一种硬件友好的可学习截断上界优化算法。同时,为了提高量化模型的精度,本文设计了新的结构化知识迁移损失,将结构化知识从单精度浮点网络迁移到量化网络,增强了低精度模型对特征空间相关性的学习能力,加速了多网络层之间的信息流动,提高了模型性能。该算法获得了网络紧凑性和模型性能之间的均衡,对应的低精度模型性能远超当前传统量化算法。如:8-bit PAMS-EDSR在不损失精度的情况下,分别获得了 58.4%压缩率和3.9倍加速收益。
其他文献
近年来,语义分割在多个领域得到了广泛的应用。随着深度学习的快速发展,基于深度神经网络的语义分割在分割精度上不断提高,但巨大的参数量和计算量限制了网络在硬件上的部署,因而设计轻量级网络成为目前语义分割领域的研究热点。然而,传统的人工设计方法耗时耗力,因此研究者们希望将网络的设计过程自动化。于是,一些基于神经网络架构搜索的语义分割方法被陆续提出,并利用知识蒸馏技术,使用性能较高的大网络指导轻量级网络的
自现代社会尤其是工业革命以来,化石能源的过度消耗造成了重大的能源短缺问题,学者们不断进行了新能源以及新型能源装置的广泛研究,致力于完成能源的可持续开发和利用,而超级电容器因为其高功率密度和卓越的稳定性引起广泛关注。相比于电池,超级电容器尽管有着充放电速度快的优势,但是其能量密度过低限制了其商业化应用的进程。而选择适宜的材料组装超级电容器,提高单位电容是电容器应用的核心问题,过渡金属氮化物作为一种新
作为我国一种新兴的金融机构，村镇银行在弥补农村金融服务缺位等方面作出了突出贡献，为农村经济增长和小微企业发展提供了重要的金融支持。然而，随着村镇银行的快速发展，村镇银行的信贷风险不断增多，出现资产质量下降、贷款不良率上升、违规开展业务等一系列问题。甚至部分村镇银行没有建立信贷风险管理机制，一旦发生大规模信贷风险，将给储户和国家造成巨大的损失。鉴于此，文章对新时期村镇银行信贷风险管理存在的问题进行分
深度神经网络由于其出色的性能被广泛的应用到了各个领域中,但同时深度神经网络也具有计算量和参数量较大的弊端,这样的特点阻碍了深度神经网络的进一步发展。近年来大量的研究关注于深度神经网络的压缩与加速,并提出了多种有效的方法。一种常用的方法是神经网络的剪枝,但目前的剪枝方法大多都依赖手工设计剪枝模型结构和单一的剪枝算法,在面对不同的硬件或者压缩目标时欠缺灵活性,并且在压缩率较高的时候难以维持原有的性能。
箱包重识别目的在于对箱包进行跨摄像机跟踪,其在机场以及海关安检等地方对丢失箱包寻找或可疑箱包追踪发挥重要的作用。目前主流技术是通过射频标签来实现定位跟踪,该标签可能存在运输过程意外脱落、人为撕开以及受金属干扰等问题。箱包重识别作为新型跟踪技术可以作为射频识别的代替或补充。由于该技术不需要物理标签,因此不会存在上述的问题且能够降低成本。然而箱包具有姿态变化大、相互遮挡以及个体间存在极为相似等情况从而
视频目标检测与跟踪作为计算机视觉中的基础问题,已被广泛应用于视频监控、无人驾驶、增强现实等实际场景中。然而,由于实际场景的复杂性,视频中的目标往往会受到遮挡、模糊、相机失焦等问题的影响。这些问题使得视频目标检测与跟踪方法在实际应用中存在一定的局限性。与图像不同,视频包含丰富的时空（Spatial-Temporal）信息。通过充分挖掘视频中丰富的时空信息,可以有效提高视频目标检测与跟踪的精度。鉴于此
具有丰富分子轨道和多个能级的有机分子已成为微型分子电子器件和热电材料的良好候选者,分子结的电输运及热电性质测量对于分子导电机制研究具有重要意义,也为推动集成电路工业小型化和高效热电转换的发展提供了新思路。随着扫描隧穿裂结等精密测量仪器技术的开发和拓展,众多单分子结或分子膜器件的热电性质被广泛研究,并初步开拓了热电性质基于分子与电极的接触效应、长度依赖性、分子内部取代基团、外部环境调控的变化规律。进
合理膳食是老年人保持健康、防治慢性病的最佳途径之一。当前中国社会老龄化进程加速,老年人膳食健康问题也逐渐突显。一方面,随着老龄人口的增加以及对膳食健康的日渐重视,社会中对老年人膳食知识的需求迅速增长。另一方面,老年人缺乏获取全面的膳食知识的途径,且难以分辨互联网中混杂的信息。基于此,本文在保证易操作性的前提下,设计并实现老年人膳食问答推荐系统,精准实时地为广大老年人及其家属答疑解惑,方便用户快捷地
深度学习已经成功地被应用于解决各种计算视觉问题。但在无人驾驶、机器人技术等应用场景下,图片无法提供感知环境所需的全部信息。相比于图像,三维数据可以更准确地还原现实场景,在不同应用场景的推动下,处理三维数据逐渐成为热门课题,其中点云作为较为简洁的三维数据的表示形式,不论是获取还是应用上都十分简便,因此高效地分析点云是让机器理解三维数据的关键。然而现存的方法存在诸多问题,比如,在点云场景语义分割任务中
全卷积神经网络为图像语义分割开辟了新的发展道路,使图像语义分割得到了迅猛发展。图像语义分割是将不同的图像区域解析为语义相关类别的视觉任务。图像语义分割在车辆自动驾驶、医学疾病诊断、视频监控等方面有着广泛的研究前景和实践意义。现有的主流全监督图像语义分割方法需要耗费大量人力进行像素级标注,因此,研究不完全标记的图像语义分割是一个具有实际意义的研究方向。然而,现有的使用相对容易标注样本的弱监督图像语义