深度神经网络压缩算法及其在目标检测中的应用研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:meinv123321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测是计算机视觉领域中的一个重要研究问题,并被广泛应用到智能化交通系统、智能监控系统、人机互动以及医学导航手术等众多领域。近年来,深度学习方法在众多领域中表现出优异的效果,尤其是在计算机视觉领域取得了巨大的突破。目前,在绝大多数视觉任务中,基于深度神经网络的方法都处于领先地位。以Fast R-CNN、Faster R-CNN等为代表的检测框架开启了物体自动检测算法的热潮。并且,由于多数研究者侧重于提高检测算法的精度,因此为了提取更加复杂的特征,深度网络的层数呈现出指数级的增长,成百上千层的网络应运而生。然而,这些基于深度神经网络的检测算法对硬件的存储能力和计算能力都有着较高的要求。因此,尽管基于深度神经网络的物体检测算法在精度上显著超过传统算法,但其巨大的存储和计算代价为其在移动端或嵌入式设备等资源受限平台上的部署带来了巨大的挑战。因此,深度神经网络模型的压缩,加速和优化成为了学术界及工业界共同关注的迫切而重要的研究课题。基于这一需求,一些网络压缩算法逐渐被提出。但是目前多数网络压缩算法会导致原始模型的性能出现明显的损失,如分类任务中的精度降低或检测任务中的漏检率升高。本文介绍了目标检测和网络压缩算法的研究背景和发展趋势,针对目前存在的问题,为了实现在资源受限平台下的基于深度神经网络的物体检测算法,我们完成了以下工作:第一,我们比较了目前经典的深度物体检测算法,综合考虑各种算法的精度、效率与模型大小,最终选择了实时性最佳、端到端的全卷积神经网络YOLOv2实现行人检测任务,在加州理工行人数据库上取得了23.6%的漏检率。并且基于网络压缩算法BWN算法对该网络进行二值化压缩,从而将模型压缩了近32倍,同时达到了66帧每秒的检测速率,此时算法的漏检率为33.6%。第二,针对现有的网络压缩算法造成的明显的精度损失,我们提出了一种新颖的逐层量化的网络压缩算法,基于层级优先级的概念,将网络按照层级深度的相反顺序由深到浅地逐层量化参数。该算法在获得相同的32倍的网络压缩率的情况下,达到了与全精度网络相近的准确度,有效地抑制了网络压缩算法造成的精度损失。第三,基于我们提出的逐层量化的网络压缩算法,我们进一步提出了灵活的部分网络压缩算法,通过决定是否继续量化剩余浮点型层级来探索网络压缩率及检测精度损失间的最优平衡,有效解决了现有网络压缩算法无法提供任意给定精度下的网络压缩模型问题。实验证明,在保持与浮点型网络相同的精度下,该算法可获得近26倍的网络压缩率。相比之下,现有的BWN算法只能在32倍的网络压缩率下分别在Caltech和INRIA数据库上达到33.6%的漏检率和18%的漏检率。而本文算法在同样的压缩率下,在Caltech和INRIA数据库上分别取得了26.7%和13.8%的漏检率。综上,本文的主要创新点主要基于上述第二、第三项工作,提出了一种新颖灵活的逐层网络压缩算法,相比于现有方法,该算法能够有效抑制网络压缩带来的精度损失,并能够灵活地取得网络精度损失与网络模型压缩率间的最佳平衡,能够实现任意精度下的网络压缩。
其他文献
中日战争和日俄战争时期,美国对朝鲜的政策由'不干涉'政策转为'放弃'政策,即把朝鲜推给日本,使其任意践踏朝鲜的主权.其实质是一方面支持日本去对抗俄国,以
李光坡是清代经学史上较为杰出的经学家,在礼学上成就尤著,有《三礼述注》传世,皆为《四库全书》著录,其成就得到学界的认可。本文通过挖掘和整理相关文献资料,试图对李光坡的生平
长条形的轨道交通地下车站基坑大多采用钢支撑轴力伺服系统,但支撑不能动态调整钢支撑轴力。结合工程实际,提出了基于"变形控制"的伺服钢支撑轴力主动调控设计理念,采用地层
随着信息技术的不断发展,我国目前已经基本解决教育信息化的基础条件建设、普及应用。为了更加快速地推进教育信息化,以促成教育强国目标的达成,教育部在《教育信息化2.0行动计划》中提出了新要求,要更加坚持深度融合。对于信息技术与课程整合,一直以来都是教育改革的热门话题,但是,在《教育信息化十年发展规划(2011—2020年)》中初次将“整合”的概念改为“深度融合”的理念后,信息化2.0时代的研究热门点,
巴黎大学中国学院是20世纪初中法两国政府建立的一个以从事汉学教学、研究和传播中华文化为主的教育交流机构。其建立者希望以此为试点,然后在欧美,乃至世界各国普遍建立中国
伴随大数据时代的到来,信息文本爆炸增长,已有的知识获取方式早已不能解决用户的知识性需求,面对大量信息资源我们应该进行组织加工方法的变革与更新,创建了新的医疗健康信息
目的 研究儿童皮下脂肪的脂肪酸组成及其与年龄和膳食的关系。方法  81名年龄为 7天~ 1 0岁的儿童在外科手术时采取少量皮下脂肪标本 ,并调查膳食史。脂肪标本用气相色谱分
目的观察乌司他丁对大鼠早期放射性肺损伤的防治作用及其机制。方法选取45只健康雌性SD大鼠,根据随机数字表法将大鼠分为正常组、模型组和实验组,每组15只。正常组不做处理,
目的 :评价补硒干预对寻常型银屑病治疗的疗效与安全性。方法 :对补硒干预治疗寻常型银屑病的临床随机、对照试验进行质量评价和数据分析,采用Rev Man 5.0软件进行meta分析,评
本文通过研究语用推理、关联理论和认知语境等相关理论,从关联、语境、语调等三个方面分析听力理解过程中的语用推理应用过程。并在此基础上,探析认知语境下的语用推理对听力