面向智能移动端的深度学习模型压缩方法研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:mengwb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络近年来发展迅速,其强大的计算能力使其成为一种解决复杂问题的有效工具,目前已被广泛应用于自动驾驶,人脸识别以及增强现实等领域。为减小移动设备响应时延,保护用户隐私,在移动端或边缘设备进行模型推理是非常有必要的,而移动端有限的资源及能耗限制成为深度模型应用的最大瓶颈。研究发现,模型压缩技术为解决该问题提供了可能。然而,目前尚不清楚模型压缩技术在不同结构类型的神经网络下的具体性能表现。由此,本文通过对11个经典深度神经网络在嵌入式环境下进行性能评估,然后采用模型压缩算法对神经网络的负载特征进行改善,为深度神经网络在嵌入式移动端的有效应用提供理论及技术上的支持。具体研究工作如下:(1)通过将经典深度学习模型移植到嵌入式环境上进行性能测试和分析,研究了不同神经网络结构在嵌入式环境下的性能表现。在此基础上进一步追踪不同网络结构操作数的时间开销,对深度神经网络在嵌入式移动端的具体性能表现做了评估研究。(2)针对原始神经网络在嵌入式移动端存储空间过大、推理时间过长及能耗过高的问题,通过研究量化、稀疏、裁剪三种压缩技术,改进压缩算法,实现了对不同网络结构的模型在不同比例下的模型压缩。实验对比了不同压缩方法下模型的负载特征并追踪分析了不同方法带来性能差异的原因。最终证明合理的模型压缩技术和比例的选择可以对模型大小、推理时间及能耗进行有效的优化,且不同压缩方法在不同网络结构中存在性能差异,合适的压缩方法取决于目标神经网络的具体结构及优化约束条件。(3)通过分析不同压缩方法的负载特征,进一步提出一种基于Q-Learning算法的自适应模型压缩技术选择方法。该方法以深度神经网络模型性能需求作为约束条件,通过对Q-Learning算法中的动作状态集和奖励函数进行详细设计,将模型压缩技术和比例与优化目标相结合,实现在不同网络、不同任务需求下模型压缩技术的自动选择,为深度神经网络的模型压缩提供一种自适应的压缩技术选择算法。实验在五种经典模型结构下进行验证,实现了在准确率平均损失3%的条件下,模型的推理时间平均降低12.8%,能耗降低30.2%,模型大小降低55.4%。
其他文献
本文建立了牛副结核病ELISA诊断方法。采用亲和层析抗原。被检血清以高压粉碎草分枝杆菌吸收原进行吸收。该方法的敏感性76%,特异性97%,通过对2483头奶牛进行检测,检出率为6.1%,
本文运用文献资料法、秩和比综合评价法对第16届亚运会女子篮球赛各球队攻防综合能力进行量化评价。通过研究得出:第16届亚运会女子篮球赛各球队进攻能力RSR值,中国队最高,马
石英是热液矿床的常见矿物,分布广泛。石英流体包裹体。40Ar/39Ar定年技术为解决矿床年龄测定难题开辟了新的途径,但以前的研究工作缺少共生钾矿物年龄对比验证。本文选择柿竹园
总分馆制是图书馆发展的必然趋势。本文提出以区县图书馆为中心、在同一行政区域内实现区县、镇街、村三级公共图书馆总分馆制的可行性,阐述了实现区县、镇街、村三级公共图
<正> 现代科学技术,特别是物理学、无线电电子学、生物物理学等的发展,促使人们研究新的物理治疗仪器,出现新的电疗与光疗方法。整个科学技术的进步,也促进人们进一步深入研
核能利用是一把双刃剑,在促进社会科技进步的同时也播种了核风险。中国刑法在应对核风险、打击核犯罪、保障核安全方面,存在核犯罪罪名体系混乱、介入核犯罪时间滞后、未与核
<正> 国内工业规模生产醋酸已有30多年历史,生产工艺都为乙醛液相氧化法。该反应过程可由以下方程式表述:早期的醋酸生产采用单锅间歇鼓泡氧化,该法不但产量低,劳动强度大,而
《学记》作为先秦儒家教育思想的总结,主要论述了“大学”的教学问题。它主要从三个方面发展了孔子所提出的“启发”教学原则:提出实施启发教学原则的条件;提出实施启发教学原则
本文在对国有商业银行所面临的问题以及对股份制商业银行适应商业化环境、有利于形成股份制企业机制以及分散经营风险等产权制度优越性的分析和阐述的基础上,给出了对国有商
2018年11月16日,中国社会科学评价研究院发布《中国人文社会科学期刊AMI综合评价报告(2018年)》,《南方金融》被评定为“经济学&#183;金融”类核心期刊。《报告》基于学科与