基于剪枝的深度神经网络性能优化与应用

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:panfeng123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从2000年开始,深度学习在计算机视觉等领域再一次蓬勃发展,解决了很多使用传统方法无法解决的难题。在深度神经网络(DNN)的发展历程中,多数研究者倾向于提升模型的精确度,因此,为了提取出更加复杂的特征,深度神经网络的规模变得越来越庞大。然而,过于庞大的网络对运行设备的存储空间和运算能力提出了更高的要求,不适合运行在资源受限平台(如嵌入式设备),而很多现实的应用场景都要求在终端设备完成计算。因此,深度神经网络模型的压缩、加速与优化成为学术界和工业界共同关注的迫切问题,也是关系到深度神经网络能否在受限平台落地的关键要素。同时,虽然神经网络的参数规模很大,但其中的一部分参数对最终结果的影响不大而显得冗余,网络剪枝可以对模型中冗余的结点和连接进行裁剪,从而减小网络参数的规模和网络推演时的计算量。因此,网络剪枝对深度神经网络性能的优化具有重大意义。基于以上分析,我们研究了一个受限平台实时推演的典型场景(即实时手部姿态估计)的网络剪枝问题。手部姿态估计是机器视觉中的一个重要的研究问题,被广泛应用在人机交互、娱乐行业和工业控制等领域。手部姿态估计的硬件设备一般是移动和嵌入式设备,使用场景对实时性、隐私性要求较高,需要在终端实现算法推演的全过程,并且兼顾到移动设备的存储空间和耗电量。基于这一需求,我们希望对手部姿态估计的网络模型进行压缩。然而,目前多数网络压缩算法在提升模型效率的同时,也会带来模型精度的大幅下降,比如关节点的平均误差增大。所以,为了取得模型精度和效率之间的平衡,在选择网络压缩算法时应该进行充分的分析,针对原网络的特点进行相应的优化。本文首先介绍了三维手部姿态估计和网络压缩算法的研究背景、意义和现存问题。针对现存问题,为了使算法能运行在资源受限平台,在不大量损失算法精确度的基础上,提升算法的运行效率,我们进行了如下的工作:第一,我们对常用的手部姿态估计算法进行了分析,综合对比了方法的精确度、运行时间和参数规模,最终选择了精确度和实时性较好的Dense Reg网络作为本文手部姿态估计的基础方法,在NYU手势数据集上实现了10.21mm的平均三维关节误差,但是我们同时也发现该算法在CPU上运行的速度无法达到实时的要求。于是,我们提出了基于深监督的两阶段剪枝算法,移除了冗余的分支和卷积层,使得裁剪后的轻量级网络可以实时地运行在CPU平台上,实现了11.9mm的平均三维关节误差,速度提高到了31.3 FPS(原本网络为22.7 FPS)。第二,针对通用的硬件平台(CPU),我们探索了算法端到端的运行效率。我们发现虽然GPU平台下的回归网络推演效率高,但是前处理和后处理的效率不如CPU平台高。因此,我们在CPU平台下进行了进一步的优化,使用Open VINO工具包,提高了在CPU平台下的网络推演效率,使得优化后的模型在CPU上的运行速度(56 FPS)超过GPU(44 FPS)上的运行速度。第三,我们完成了端到端程序的开发,在实际环境下检验了算法的稳定性和实时性。实践证明,加入深监督之后的重训练过程,可以有效弥补由于剪枝而带来的精度显著下降问题,使得训练过程更快收敛。优化后模型的精确度可以和大部分现有方法媲美,同时也可以在资源受限平台下实时运行,展现出很高的稳定性,不影响用户流畅地交互。综上,本文的创新点主要基于第一和第二项工作,首次将基于L1范数的channel剪枝方法应用到Dense Reg网络中,并将其作为网络剪枝的基础方法,分析了Dense Reg网络卷积层的权重分布。同时,我们分析了现有网络在结构上的冗余部分,提出了两阶段的剪枝算法和prune-and-retrain的裁剪策略,并添加深监督模块使得重训练更快收敛、精度恢复更快,满足了生产环境中手部姿态估计任务的落地需求。
其他文献
从精神病临床高危综合征(Clinical High Risk,CHR)到精神分裂症的发病过程中,认知功能受损对疾病预后有重要影响作用,成为干预的重要靶点。相比于传统的计算机辅助认知训练,手机APP进行认知训练能够更加实时和便携,在精神卫生领域有着广阔的应用前景。本研究为一项单盲随机对照试验,入组的60名CHR随机分为试验组和对照组,试验组使用记忆注意强化训练(Specific Memory Att
标准必要专利纠纷的关键是如何确定合理的许可费。标准必要专利的特殊性、FRAND原则的模糊性以及标准制定组织的中立态度共同造成了许可费困境。此前我国法院主要以“可比较交易法”作为主要的定价方案,但在选取比较的交易方案等问题上饱受争议。域外的司法实践和理论研究中,“事后仲裁法”具有结果可接受度高、能够激励许可双方进行谈判和可操作性强等优势。以“事后仲裁法”为基础,将最终裁判权赋予法院,由法官在许可费争
图像生成属于生成模型中的一种。生成模型是指以服从某种分布的样本作为训练集,学习如何表示这个分布的模型。尽管生成模型只能生成数据而不提供密度函数估计,但是依然有着重要的研究价值。训练生成模型是对操纵和表示高维概率分布的能力的有效检验。生成模型可以引入到强化学习,也可以进行半监督学习,另外还能与多模态输出结合。除此之外,许多任务本身就需要图像生成。目前在所有生成模型中,生成对抗网络是最成功的,其原理是
即使科技发展到今天,毒品问题一直是世界各国面临的重点和难点问题。遏制毒品泛滥蔓延,降低复吸率,帮助成瘾者正常回归社会始终是世界各国的共同目标。我国禁毒办在2019年发布的《中国毒品形势报告(2018)》当中显示,时间截止到2018年末国内共有240.4万名吸毒人员(其中不包括戒断三年未发现复吸人数、离境人数以及死亡人数),新型毒品的不断出现,国内新精神活性物质滥用增多,吸毒人员呈低龄化发展趋势,禁
学位
鉴于示范性研究在教育政策准备过程中在评估其战略方面日益重要,包括坦桑尼亚在内的许多国家都采用了教学指标。由于教育行业评价包括不同的利益攸关方,因此与国家教育政策的实际效用和教学增长的效率有关,而且这些评价由全球捐助界提供。这种评价由从事教学政策制定的不同利益攸关方在几个单独的阶段进行,其中包括学生、作为最微观一级教育直接受益者的父母;学校一级的教师和学校主管;宏观级别的教育管理员。评估作为确定先前
这是一个不断变革的时代,持续改变着人的思维与消费模式,而速生速朽的商业世界,也意味着企业间的竞争将更加激烈,一个品牌要想立足发展,就要不断地引领创新适应时代的变化,才能不被新消费时代所淘汰。后疫情时代,在消费不断变革的趋势下,企业需要突破原有的格局,同时也对企业也提出了更高的要求。人本智汇创始人、凤凰FM董事长李亚携手著名学者、商业思想家吴伯凡,政治学博士、北京大学新闻与传播学院教授胡泳,场
期刊
世界卫生组织统计,心血管疾病(Cardiovascular diseases,CVDs)是全球的头号死亡原因,每年约有1790万人死于心血管疾病,占全球死亡人数的31%。在这些死亡人数中,约有740万人死于冠心病,670万人死于中风。心电图(Electrocardiogram,ECG)是诊断心血管疾病的重要参考依据之一,连续长时间可穿戴ECG信号监测设备的需求日益增加,而采用无线能量与数据传输的E
随着教育部《普通高中化学课程标准》的修订完成,在课程标准中,针对普通高中化学学科的核心素养概括为五方面是要素。教师在开展普通高中化学来课程教学的过程中,要充分结合学科核心素养出发,有针对性的进行化学课程教学结构、教学设计等关系以及教学实施、问题设计思路的规划。为此在课堂教学设计的实现上,要求教师在教学过程中,要充分立足单元知识的理解出发,融入对普通高中化学核心素养培育的探讨,实现对应核心素养水平层
近些年来,随着3D相机不断地发展,分辨率、帧率等性能不断提高,三维视觉相关的研究也吸引了学界与产业界越来越多的目光,三维重建、三维物体识别都已成为热门研究领域,也取得了非常丰富的成果。但3D相机的发展使数据量也呈现出爆炸式的增长,在当前有限的带宽与存储空间下,三维视觉算法实现真正的广泛应用仍然面临着严峻的挑战,所以研究一种高质量、高效率的压缩三维数据的方法迫在眉睫。本文深度视频压缩算法通过关键帧编