面向视觉终端的轻量化神经网络数据压缩编码研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:q542936575
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习目前在许多领域都取得出了很好的成绩,已经广泛地应用于生产生活的各个场景。深度学习的成功离不开计算芯片近年来的飞速发展,因为深度神经网络具有庞大的计算量。但是在边缘端,受限于功耗和算力,部署基于深度学习的应用依然存在巨大的挑战。本研究针对边缘端深度学习应用,提出了两种轻量化神经网络数据压缩编码方法。近来,一些研究者尝试使用信息论来打开神经信号编码的黑匣子。本研究从无线通信的有损数据压缩中受到启发,提出了比特瓶颈方法用于量化和编码神经网络激活数据。比特瓶颈方法基于率失真理论,通过估算不同比特的稀疏系数来确定激活表示中最重要的比特。通过给定一个有限平均码率的约束,比特瓶颈能够使用灵活的逐层量化方法来最小化量化失真。在Image Net和其它数据集上的实验结果显示,通过最小化每层的量化失真,相比国内外同期的量化研究,带比特瓶颈层的神经网络模型在激活低精度量化情况下取得了更好的分类准确率。并且,比特瓶颈方法能在不影响神经网络准确率的情况下,比单精度浮点表示的深度神经网络提升了超过6.4倍的内存和计算效率。另一方面,在智能视觉终端设备,不仅需要进行图像识别和分类的任务,同样需要进行图像压缩。可是,受限于边缘设备的能量预算和计算资源,实现复杂计算的图像压缩算法依然是一大挑战。针对此挑战,本研究提出了压缩卷积网络(CCN)方法,能够从大数据集中学习用于压缩感知的等距感知矩阵。为了提高感知矩阵与稀疏基矩阵之间的非相干性,本研究创新性地提出了一种非相干正则化函数。提出的方法通过复用传统目标检测神经网络中的卷积计算,无需额外的计算负担。在多个数据集上的实验表明,提出的图像压缩算法在不影响原始网络检测准确率的情况下,能够实现比传统方法高3.1倍到5.5倍的压缩效率,比JPEG压缩方法和其它压缩感知方法高2.7 dB到5.2 dB的图像重建峰值信噪比(PSNR)。
其他文献
伴随着第五代移动通信(5G)技术逐渐成熟并走向商用,开展后5G时代(Beyond 5G,B5G)/第六代移动通信(6G)技术研究已成为国内外科研院所和ICT企业关注的焦点。通过对5G技术现存问题深入分析,以及B5G/6G应用需求的深入挖掘,不难发现B5G/6G迫切需要新技术手段以期在不显著增加网络部署成本的同时提升无线通信频谱和能量效率,从而满足未来应用需求并实现真正意义上的可持续网络演化。与此同
学位
随着全球能源需求的快速增长和对可持续发展的迫切要求,能源结构转型进程日趋加快,可再生能源发电持续大力发展。然而分布式可再生能源和负荷具有的高度不确定性为孤岛微电网运行的安全性和经济性带来严峻挑战。传统优化运行研究方法对微电网进行控制和决策时往往忽略了可再生能源出力及负荷功率的预测误差,难以有效处理孤岛微电网中的高度不确定性。为此,本文以高比例可再生能源渗入的孤岛微电网为研究对象,对多阶段不确定性建
学位
介质阻挡放电在航空航天、材料表面改性、生物医学等领域有巨大应用前景,但目前在大气压空气中产生大面积均匀等离子体仍是难点。研究表明激励器结构参数的优化是提高放电等离子体特性的重要方式,本文基于自主研制的旋转介质阻挡放电激励器,研究了电极转速对放电特性的影响,结合放电图像和电学参数,讨论了旋转状态下放电的过程机制。根据所提出的长曝光时间下多个微放电通道灰度叠加方法,研究了电极转速变化时灰度均值、标准差
学位
雷达作为一种穿透力超强的主动式微波探测工具,其性能不受时间、气候和观测距离等因素的影响,在目标检测和预警探测等领域具有其他遥感系统无可比拟的优势。然而,复杂杂波背景下的动目标检测性能受到了各种因素的制约,导致海杂波抑制及和目标检测技术不能满足实时需求。杂波抑制是动目标探测的基础和前提,而现有杂波抑制算法仅仅利用单维域特征并且人工参与的力度大,使得杂波抑制效果的好坏主要取决于算法对雷达参数及环境的适
学位
压缩感知理论打破了奈奎斯特采样定理对采样频率的约束,迅速在各个领域得到了广泛应用。在图像处理领域,通过将压缩感知理论与图像相结合,不仅可以减少数据压缩和采样的代价,而且可以提高图像处理的效率。因此,图像重构是压缩感知研究的一个重点内容。图像重构的目的是从少量的测量值中有效重构出原始图像,但图像重构本身是NP-Hard问题,所以如何利用先验信息对图像进行重构是目前研究的重点。针对不同的先验信息,学者
学位
第五代(5th Generation,5G)移动通信系统的关键指标之一是提升传输速率。毫米波拥有丰富的频谱资源,可以提升带宽。大规模多入多出(Multiple Input Multiple Output,MIMO)部署的天线阵列可以提高频谱利用率。因此,毫米波与大规模MIMO在5G研究中占据非常重要的地位。预编码是MIMO系统的核心技术之一,传统模拟预编码实现简单,但只支持单数据流传输,且性能较差
学位
工程中常采用反幂模型(Inverse power model,IPM)作为交联聚乙烯(Crosslinked polyethylene,XLPE)电缆绝缘的电寿命模型,以描述外施场强E与绝缘失效时间t所呈现的E-t特性关系。IPM中的参数——电压耐受指数n是交、直流电缆绝缘设计及出厂试验考核的重要依据。目前,高压直流电缆的绝缘设计依旧参考交流电缆的设计和运行经验,但由于交、直流电缆中电场分布规律存
学位
随着移动群智感知网络(Mobile Crowdsensing,MCS)的应用领域不断拓展,使用移动群智感知网络采集感知数据的任务发布者越来越多,多任务的分配场景也越来越普遍。本文主要考虑的是参与式感知,以任务发布者为中心,根据感知任务是否对感知时间有特殊要求(例如,任务的最大响应时间),将MCS的任务分配场景分为两类:对时间敏感和对时间不敏感的多任务分配场景。针对这两类场景,本文的主要贡献和创新点
学位
在计算机视觉领域中,运动目标检测作为许多高级视觉任务的基础性工作,被广泛应用于智能安防、智能交通、国防军事等领域。传统运动目标检测算法针对的多是摄像机静止的场景。然而,近年来随着移动计算平台的飞速发展,越来越多的视频数据是在摄像机处于移动状态下拍摄的,如手持摄像机、云台摄像机以及车载摄像机等。在摄像机可以移动的场景下,视频中的背景在时刻发生运动,运动目标不再是导致帧间变化的唯一因素,背景与前景的混
学位
模式识别算法利用大量有标签的样本数据作为训练集对模型进行训练,进而实现对于目标样本的分类。此类算法能够起效的两大重要前提为具有大量有标签数据且这些数据与目标待识别数据具有特征空间上的同分布性。然而在大多真实应用场景中的数据往往是缺少标签的,同时为大量数据标注标签是一件十分费时费力的事。在图像识别问题中,通常人们容易获得的大量有标注的数据与实际需要进行分类的目标数据具有不同程度的分布差异。为了实现利
学位