【摘 要】
：
随着深度学习技术的成熟和普及,以及在海量数据和丰富应用场景的催生下,以卷积神经网络为代表的深度卷积网络开始逐渐替代机器学习时代基于人工提取特征的传统算法。而不断逼近精度极限的代价就是网络深度、尺寸的增长,网络模型越来越趋于臃肿,这对于深度学习的产品落地化是一个严峻的考验。为了更好地在计算资源有限的设备端部署模型且不影响使用,模型压缩的相关研究应运而生。本文主要基于基础算法和具体应用场景,对模型压缩
论文部分内容阅读
随着深度学习技术的成熟和普及,以及在海量数据和丰富应用场景的催生下,以卷积神经网络为代表的深度卷积网络开始逐渐替代机器学习时代基于人工提取特征的传统算法。而不断逼近精度极限的代价就是网络深度、尺寸的增长,网络模型越来越趋于臃肿,这对于深度学习的产品落地化是一个严峻的考验。为了更好地在计算资源有限的设备端部署模型且不影响使用,模型压缩的相关研究应运而生。本文主要基于基础算法和具体应用场景,对模型压缩的算法和方案实现展开了系统的研究,具体工作如下:1.针对量化的模型压缩算法,研究了传统二值网络的二值策略以及训练流程,并在卷积神经网络上对多值网络完成策略和权重更新的优化。针对二值网络精度损失较大的缺陷,提出了一种基于集成学习的二值组合模型,并改进网络结构,在CIFAR-10数据集上达到和原始网络相当的精度水平。2.针对知识蒸馏的模型压缩算法,研究了基础的教师学生模型以及蒸馏损失函数,设计蒸馏训练实验测试算法性能。针对蒸馏效果和教师网络的低关联性,提出了一种自学习的知识蒸馏优化方式,在CIFAR-100数据集上的性能提升与传统蒸馏相近,但有效节省了教师网络的模型资源。3.从具体应用场景的层面,论文选用语义分割任务作为目标,并使用U-Net网络搭建模型,在经处理的二分类人体解析数据集上进行训练,实现基本人体语义分割的预测效果。在此基础上提出了一种基于剪枝微调-稀疏张量解析-查找表量化存储的系统压缩方案,并应用在U-Net人体语义分割网络中。通过超参数筛选获得最佳剪枝率,在处理后的Human Parsing数据集上准确率基本没有损失,同时实现了接近20的实际模型压缩比。
其他文献
近些年来,随着人工智能技术的发展,卷积神经网络在计算机视觉领域得到了广泛应用,它在图像分类、目标检测等任务中表现优异。但卷积神经网络计算量较大,此特性使其难以直接在边缘端或移动设备上部署,因为此类平台通常算力有限,且对功耗敏感。为了使卷积神经网络在这种平台上运行,通常使用轻量级的网络模型,或使用专用的电路对其进行计算。根据这两个理念,本文提出了基于So PC平台的轻量级卷积神经网络加速器,可进行M
近年来,各种智能设备和蜂窝网移动用户数量快速增长,移动数据流量也随之激增,而由于当前通信网络无线资源有限,重复传输大量相同的内容导致资源浪费,回程链路拥塞,通信时延增加甚至通信中断。而雾无线接入网这一新兴的网络架构可以解决当前通信网络面临的上述问题。在雾无线接入网中,边缘节点具备一定的计算和存储资源,通过将流行内容存储到用户附近的边缘节点,即可避免用户从云端反复下载重复内容,进而有效降低链路负载与
随着无线通信技术的发展,天线设计也面临着小型化、宽带化、多频化等多方面的设计需求,天线与阵列设计日趋复杂,设计自由度提升。传统的全波仿真计算虽然仿真结果相对精确,但计算成本较高,不利于需要大量重复仿真计算的优化过程或敏感性分析。本文针对机器学习辅助优化技术及其在天线设计中的应用开展深入研究,具体成果如下:首先,在研究电磁优化领域被引入的常用机器学习代理模型及相关优化算法基本原理的基础上,对比人工神
随着移动互联网的迅速发展以及智能移动终端的普及,越来越多的用户从传统的PC端上网逐渐转换到基于移动智能终端的移动互联网上。各种应用软件在颠覆用户生活习惯的同时,涉及到了用户的个人隐私,不可避免的带来了移动信息安全泄露的威胁。因此,基于移动终端的信息安全也成为了当下的热门研究方向。人脸识别技术主要是基于人的面部特征信息来进行身份识别,综合了人工智能、机器学习、图像处理等众多技术,其识别准确率也逐渐提
传感器节点的能量受限问题是无线传感器网络（WSNs,Wireless Sensor Networks）中的一个重要问题,它关乎到WSNs的使用寿命。近年来,利用无人机（UAV,Unmanned Aerial Vehicle）对节点进行充电引起了国内外学者的广泛关注。本学位论文重点研究了UAV辅助的WSNs充电策略,根据传感器节点的剩余电量和无人机的机载能量,在保证WSNs正常工作的情况下,优化UA
近年来,随着人工智能的兴起,无人驾驶技术逐渐成为研究的热门领域。无人驾驶汽车通过传感器感知周围环境,而环境感知主要包括目标的跟踪与识别。因此高精度的跟踪算法以及高准确率的识别算法对无人驾驶车辆的研究具有较大的推动作用。在目标的跟踪过程中,由于回波信号的非视距传播以及环境噪声干扰等因素导致观测信息中出现奇异值,从而影响算法的跟踪精度。此外,在目标识别过程中,传统的识别算法对类别不平衡问题较为敏感。然
大规模机器类通信（massive Machine Type Communication,m MTC）作为第五代（the Fifth-Generation,5G）移动通信系统的三大关键场景之一,广泛应用于智慧交通、城市大脑、健康监测等领域,为人类的生产和生活提供了极大的便利。与此同时,巨大的用户数、庞大的数据量以及复杂的业务场景,也对通信领域技术的革新提出了严峻的挑战,其中就包括对无线网络接入的控制
近些年来,随着移动智能设备的不断发展,运行于移动设备的应用程序越来越丰富,移动设备的资源和处理能力限制导致了某些应用程序无法满足用户的服务质量要求。克服这一问题的方法就是将移动设备上的计算密集型任务卸载到部署在网络边缘的云服务器上,称为移动边缘计算（Mobile Edge Computing,MEC）。然而,移动边缘云服务器的资源有限,不同的卸载策略和资源分配方式会显著影响用户的服务质量,因此,如
射频识别（Radio Frequency Identification,RFID）与传感技术是物联网的关键技术,其中,标签是射频识别与传感系统中必不可少的信息载体。与其他类型的标签相比,无源标签不含电池,因而成本低、结构简单且使用寿命长,但也存在功能有限等缺陷。因此,研究射频识别与传感系统的理论基础,探索无源标签的性能提升方法,实现不同应用场景下低成本、小型化、柔性的新型无源标签,对于射频识别技术
情感作为人类生活体验的一个重要基础,影响着人类的认知、感知和日常生活。因此,情感识别作为人机交互中的一个重要的研究领域,近年来越来越受关注和研究。情感可以通过多种方式表达,多模态情感识别已经成为情感识别领域的发展重心。本文以语音和人脸表情等模态为基础,分别研究了语音情感识别和人脸表情识别这两个单一模态的情感识别,并在此基础上采用特征融合和决策融合的方法来实现多模态情感识别。具体的工作如下:（1）首