【摘 要】
：
随着深度卷积神经网络（DNN）在各种计算机视觉任务中的成功应用,人们希望通过设计出更深或更广的网络结构,来超越已有的经典方法,获得更佳的应用效果。绝大部分流行已久的经典卷积网络,都需要依赖数十兆字节的权重存储和数十亿次的浮点运算,才能进行一次前向推理,这使得它们难以广泛部署在资源受限的边缘设备上（例如手机、摄像头等）。量化被认为是满足终端设备对内存苛刻要求的最有效方法之一。然而,大多数量化方法将相
论文部分内容阅读
随着深度卷积神经网络（DNN）在各种计算机视觉任务中的成功应用,人们希望通过设计出更深或更广的网络结构,来超越已有的经典方法,获得更佳的应用效果。绝大部分流行已久的经典卷积网络,都需要依赖数十兆字节的权重存储和数十亿次的浮点运算,才能进行一次前向推理,这使得它们难以广泛部署在资源受限的边缘设备上（例如手机、摄像头等）。量化被认为是满足终端设备对内存苛刻要求的最有效方法之一。然而,大多数量化方法将相同的位宽指定给所有网络层进行量化。当将深度神经网络压缩到非常低的精度时,某些量化敏感层会严重降低网络精度。因此,更好的策略应是采用差异化的位宽分配方案,这一研究课题也叫混合精度量化。混合精度量化的现有工作,多存在复杂度高或实际效果不理想等不足,且位宽分配存在很大的不确定性。本文从局部量化噪声抑制出发,将动态改变的量化敏感度与网络层重要性联系起来。同时,基于局部平衡点附近扰动的假设前提,各层位宽逐次下降,最终得到的位宽分配方案是唯一的。我们证实特征图会放大来自权重的微小扰动,而量化后的精度下降直接归因于各层之间特征图的差异。我们提出,单层量化需要重建量化前的特征图,对传统量化器在权重上得到的量化中心进行调整。我们对量化后的特征图误差做了近似估计,并通过交替方向乘子法迭代优化。基于对单层量化噪声的分析,我们提出微小扰动下的量化敏感度估计,量化敏感度越低的层具有更高的量化优先级。整个权重位宽分配方法是基于“特征图对齐”的位宽逐级下降的过程。位宽分配过程结束时,可以根据各层位宽下降的历史记录,推导出任一更低压缩率条件下的位宽分配方案。根据量化误差特征函数,我们进一步提出了适应权重量化精度的激活位宽分配方案。在通用网络上的实验表明,全量化网络取得了相比于同类工作更有竞争力的结果。
其他文献
随着人工智能技术的发展,生物特征识别作为实现新型人机交互的重要载体,已经被运用到很多产业中。其中,人脸识别技术因其非接触性、非侵入性、设备简单和不易破解等优势,逐渐成为了现今较为重要的身份鉴定方式之一。卷积神经网络是目前在人脸识别上应用较为广泛的网络,通常采用余弦域损失函数来扩大特征间边际,训练耗时会因此增大。为此,本文将对余弦域下的网络训练速度和实际识别效果展开研究:首先,针对余弦域下网络训练耗
大规模多输入多输出（Massive Multiple-input Multiple-output,Massive MIMO）作为第五代移动通信的核心技术之一,可以显著提升移动通信系统的传输速率和可靠性,但基站和用户端天线规模的提升使得通信系统的设计变得非常困难。深度学习因良好的鲁棒性和并行性成功地在众多领域得到了广泛应用,为其在移动通信领域的发展提供了坚实的理论基础。设计高可靠性、低复杂度的大规模
鲜味是由L-谷氨酸钠（L-monosodium glutamate,MSG）等鲜味成分引起的一种味觉品质,是评价食品风味的重要指标之一,同时也是氮源营养物质在机体内进行信号传递的重要途径,因而如何有效评价鲜味味觉具有重要意义。现有的味觉评价法包括传统的人工感官评价、HPLC等仪器分析技术和以电子舌为代表的智能感官系统均存在不同程度的局限性。随着味觉生理机制的深入研究,研究人员已采用味觉受体、含有味
实时的厚度检测对于易磨损的器件工作状况的监控具有十分重要的意义。尽管现有的厚度检测设备如激光厚度传感器、超声波厚度传感器、电容式厚度传感器等可以用于常规的厚度测量,但是由于其具有庞大的体积、刚性的探头以及昂贵的价格限定了其在复杂工况下的应用以及大范围的推广。印刷电子作为一个新兴的领域在近些年快速发展,由于其具有成本低、易于制造、体积小、与柔性基板高度兼容等优点,在学术界和工业界受到广泛关注。纳米银
随着工业机器人在汽车制造、机械加工、焊接、上下料、磨削抛光、搬运码垛、装配、喷涂等领域的应用和发展,传统的工业机器人在线示教已经很难满足现代工业生产加工的需求。为了满足现代工业准确高效的生产需求,研究人员越来越重视机器人离线编程技术。离线编程能够有效提升实际生产环境中的编程效率和工作效率,是一种面向任务的编程方法。本文针对MARK III型LNG船用不锈钢多面体工件对机器人的螺柱焊和弧焊的离线编程
细胞检测一直是生物学探索的重要步骤,在传统的生物学中,对于细胞的检测的手段有流式法,免疫荧光细胞化学染色法,Elisa盒子检测,传统的检测方法具有周期长、费用高、过程复杂等问题。基于细胞的生物传感器在水的毒性和质量检测、微生物药敏分析、癌症研究、临床和卫生保健、食品科技与食物安全、药物及药理研究等方面也具有重要应用。同时,电容传感器一直存在着电场分布不均匀,精度方面难以保证。传感器表面吸附细胞通常
蛋白质-蛋白质相互作用（Protein-protein interaction,PPI）是其行使各种生理生化功能的基础,蛋白质互作研究对了解细胞功能的分子机制有着重要意义。目前,已有许多实验方法用于蛋白质互作检测,但实验手段通常费时费力,且实验解析仍停留在少数几种模式生物上。因此,发展一种新的蛋白质互作预测方法,从已有数据中学习蛋白质互作特征,再应用于园艺作物实现跨物种蛋白质互作预测,这无疑将加速
医疗图像分割被广泛地认为是后续医疗图像处理中最重要的一个步骤,能大幅提高医疗诊断的效率和准确性。然而,纯手工的医疗图像标注成本非常高,一方面医疗图像大多是3D的,其标注需要耗费大量的时间资源,另一方面标注需要专业的医生,且其准确率与医生的经验密切相关。随着近几年卷积神经网络的快速发展,自动分割大幅提升了医疗图像分割的效率。然而在实际诊疗应用中,现有自动方法的精度和鲁棒性仍有待提高。为了得到一个更佳
板坯叠轧是目前国内外生产复合板的一种新的制造工艺,具有板材质量高、组织均匀、性能稳定等多种优点,在核电、石油化工、输送管道等领域具有广泛的应用前景。常规情况下采用的大坡口手工电弧焊焊接效率低,人为因素影响大,焊接质量不稳定。因此,采用机器人自动焊接是组坯成形技术规模化应用的必然趋势,而横向窄间隙坡口的多层多道焊道规划是其中一项非常重要的关键技术,目前主要存在以下几个问题:（1）缺乏基体金属支撑造成
全景视频作为传统视频与虚拟现实的结合产物,近年来获得了学术界和产业界的广泛关注。由于全景视频中包含了整个空间场景的画面,其数据量将远高于传统视频,这给全景视频的传输和分发提出了新的挑战。一些研究者针对一对一的全景视频传输场景提出了视区自适应传输模型。这类模型将根据用户的观看视角对全景视频画面的不同区域进行选择性传输,从而降低了全景视频传输的网络带宽需求。然而,对于多个用户的全景视频传输场景,现有的