卷积神经网络的轻量化设计与加速实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:shevafans
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络在计算机视觉任务中发挥着重要作用,基于深度卷积神经网络的语义分割已经达到足够高精准度,然而高精准性能的网络规模也越来越大,消耗了大量的存储和计算资源,网络难以移植到资源有限的移动端、现场可编程门阵列等嵌入式设备上,且深度神经网络运行时间较长,难以满足现实的实用要求。因此,本文对卷积神经网络进行轻量化设计,并应用于语义分割任务中,同时在硬件层面进行加速研究。具体工作如下:1.对轻量级卷积神经网络Mobile Net V2和Shuffle Net模型进行研究,比较两者的结构并研究了两种网络中的轻量化设计方法。在Mobile Net V2倒置残差单元结构的基础上,融合分组卷积和通道混洗的轻量化设计方法;并基于语义分割的特性引入高效金字塔卷积模块,对基本单元结构进行设计。在CIFAR-10数据集上测试各个设计网络的复杂度,浮点计算量以及运行时间。实验表明,最终的改进网络参数量和浮点计算量较少,且速度达到一定的提升。2.对高精度语义分割网络Deep Labv3+模型进行研究与实现,将设计的轻量级卷积神经网络作为Deep Labv3+的骨架网络;并将带有空洞卷积的空间金字塔池化模块中的标准卷积替换为深度可分离空洞卷积,进一步减少模型参数量。使用城市街景图像数据集Cityscapes训练并测试改进网络,实验结果表明,该设计能够在保证分割精度的同时,减小模型规模并提高网络分割速度。3.研究卷积神经网络在硬件平台FPGA上的优化方式与加速实现,对卷积运算采用定点优化,流水线优化等优化方式,并对语义分割网络FPN的软件实现及硬件实现进行对比。实验表明,有效的优化设计方式能够使计算速度成倍提升。综上,本文针对卷积神经网络进行轻量化设计,提出高效的语义分割模型,并从硬件层面进行加速优化研究。实验结果表明,本文设计的轻量化网络能够有效降低模型复杂度,在保证分割精度的同时达到速度的提升。另一方面,在硬件平台上对卷积神经网络加速进行研究,最终语义分割的实现能够达到较快的推理速度。
其他文献
体育小镇是新型城镇化和体育产业发展趋势下的产物,综合了休闲运动、旅游康养、比赛活动、教育培训、工业制造、场馆租赁及住宿、餐饮等相关产业。体育小镇作为体育产业与其他产业融合的平台,既是消费聚集区,也是产业聚集区,特色区域的建设和培育离不开产业聚集,体育小镇的发展有机结合产业聚集具有重要意义。创业生态系统能够为创业企业提供良好的发展条件,对地区产业集群发展具有推动作用。本研究探索通过创业生态系统的建设
在许多涉及高温(大于300℃)的催化反应中,烧结是金属催化剂失活的主要原因。在热应力作用下,金属颗粒的平均尺寸增加,在高于Tamman温度(即烧结开始的温度)下数量急剧减少。因此,负载型催化剂亟需解决的问题之一仍是提高其在高温下烧结时的热稳定性。本文通过调节静电纺丝实验参数实现CeO2纳米纤维表面的应力调控,并通过加入第二组分来加强CeO2基纳米纤维的柔韧性,构筑物理限域和能量壁垒,使负载型催化剂
习近平总书记对我国各项事业发展提出了诸多建设性的见解和主张,其中,青年的成长成才和全面发展是他格外关心的领域,这体现在他就共青团工作、教育事业发展、文化建设、社会思想道德建设等问题的阐述当中。从中可以看出,习近平认为青年要真正堪当时代大任,离不开加强和改进青年的思想政治教育工作。党的十八大以来,习近平高度重视青年的思想政治教育工作,就为什么要对青年进行思想政治教育、青年思想政治教育承担的职责、教什
随着我国分布式能源渗透率的不断增长及电价机制的不断完善,智能配电网的复杂性和不确定性也不断攀升。其中广泛存在的终端馈线单元(FTU,Feeder Terminal Unit)及智能电表所面临的虚假数据注入、窃电等安全性问题也不断加深。在这样的背景下,安全的电力数据传输、防止虚假数据注入、精确检测窃电将是保障配电网安全性、电力交易公平性、配电网经济性的重要条件。本文从FTU及智能电表两类终端出发,研
配电网状态估计根据稀疏量测数据,估算系统实时运行状态,为负荷分配等重要决策提供数据支持。随着电网的智能化发展,配电网信息系统与物理系统的耦合使其态势感知能力逐渐提升,但同时也为虚假数据注入攻击者提供了更多切入点。虚假数据注入攻击通过影响状态估计结果,误导重要决策,严重影响配电网的可靠性。因此,本文对考虑虚假数据注入攻击的三相不平衡配电网状态估计方法进行研究,具体工作如下:1)介绍了课题的研究背景和
多智能体在当前以及未来有着广泛的应用场景,在生产科研与日常生活中逐渐发挥着重要作用。而多智能体协同路径规划技术好坏决定智能体是否能够准确到达预定位置去完成特定的任务,其中多智能体的编队包围是多机器人系统中协调控制的重要问题,是多智能体系统基于路径规划的一种复杂功能的应用,可以算做一种特殊的多智能体协同路径规划问题。因此多智能体协同路径规划与多智能体编队包围逐渐成为最近的研究热点。本文基于多智能体强
本报告基于笔者的委托方委托翻译的《成品采购协议》(“Finished Goods Purchase Agreement”)英译汉文本,以尤金·奈达提出的功能对等理论为指导,从词汇、句法、语篇层面针对翻译过程中遇到的重难点进行分析,并分别从这三个层面结合具体实例总结合适的翻译技巧。翻译原文是商务合同的一种,属于法律文本,语言特点鲜明。词汇层面的特点有使用古体词、连用同义词及常用名词化结构,建议分别使
有机污染场地覆盖阻隔层易出现失水开裂现象,形成优势流通道,导致其防渗和气体阻隔性能下降。论文依托国家重点研发计划课题《农药污染场地易迁移污染物源阻控技术遴选与研发》(2018YFC1803100)与国家自然科学基金《聚磷基分散剂改性膨润土竖向工程屏障阻隔高风险重金属污染物的机理和性能研究》(41877248),通过试验和理论分析,研究了双重剂改良增强型压实黏土的持水、阻气、收缩、SVOC吸附、防渗
在互联网飞速发展的时代,物联网这一新兴的网络体系正日渐广泛的应用于生活中的各个领域。物联网给社会带来极大便利的同时,物联网安全技术是保障其稳步发展过程中不可或缺的基石。由于物联网存在设备异构、设备之间交互以及部署环境复杂等因素,物联网终端的安全性普遍较低。为保证物联网系统的安全,物联网终端认证方案以及端到端之间的安全传输机制是目前物联网安全技术炙手可热的研究内容。在当前“万物互联”的发展背景下,物
本研究的目标是在保留神经网络模型精度的前提下,提高模型的执行效率,降低模型的规模和执行时间。本文在充分调研的基础上,综合采取了量化感知训练和高性能整型计算两种方案,实现了软、硬件结合的优化加速。不同于以往的研究,本文的实验对象是已经被高度优化过的浮点模型,例如Mobile Net、Shuffle Net等等。它们的量化难度更高、挑战更大。对这些模型进行量化加速,可以为低功耗、高性能的嵌入式设备,提