基于深度学习的实时实例分割技术研究与应用

来源 :电子科技大学 | 被引量 : 2次 | 上传用户:qqboygogogogo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实例分割是计算机视觉领域中一个综合性的任务,是对图像场景的深层理解,集分类、定位和分割三大任务为一体,能够对图像中的实例在像素级层面进行识别。基于深度学习的实例分割技术在精度上获得了长足的发展,这项技术也开始从实验室走向实际应用,在自动驾驶系统、移动终端摄像模块以及在线视频播放平台等场景中得到了广泛应用。然而,目前基于深度卷积神经网络的实例分割模型架构复杂,网络层次较深,运行速度较慢,即使在高性能算力条件下,也仅能在每秒内预测约15张图片。对于多数应用场景来说,其处理的信号是视频信号,每秒传输的图像超过30张,因此之前的模型在速度上远远无法满足要求。针对这个问题,本文从实例分割方法和模型架构方面着手,研究探索高效实时的实例分割技术。进入深度学习时代后,实例分割技术主要有两个发展方向,第一种是基于目标检测的方法,先检测后分割;第二种先进行语义分割,然后对分割结果进行后处理以区分不同实例。第二种方法后处理方法复杂,难以利用硬件进行加速,因此本文选择第一种思路,以目标检测技术为基础,构建高效的实例分割算法。本文提出一种新的实例分割方法,称之为高效实例分割网络(EISNet,Efficient Instance Segmentation Network)。EISNet以单阶段目标检测算法SSD(Single Shot Multibox Detection)为基础,在其检测模块添加一个并行的预测分支用以对每个锚框预测一个组合系数;同时在最大尺度特征图后面添加一个全卷积范式的原型生成分支,生成一系列全图级别的分割原型;最后将分割原型以组合系数进行线性组合并以Sigmoid激活函数生成分割掩膜,通过真实框或预测目标框进行裁剪而获得实例分割掩膜。系数预测分支与原分类和定位分支平行,且共享特征处理层,而原型生成分支与原检测分支平行,因此虽然其网络变复杂,但其并行网络结构非常适合进行硬件加速,相比原检测模型,其运算速度基本未受影响。EISNet保留了SSD高效的特性,在GTX 1080 Ti显卡的算力条件下,每秒能预测超过30张540x540大小的图片。为了提高特征的鲁棒性,本文还提出一种改进的双向特征金字塔网络,通过额外的自底向上融合通道进行多尺度特征融合,使得融合后的特征包含更加丰富的信息。除此之外,本文还在训练期间选用了更加有效的定位损失函数DIoU,并添加了仅在训练期间使用的语义分割分支,以此来辅助网络更好的收敛。最后,为了验证本文算法的实用性,将本文提出的模型应用到消防指挥系统中,对消防系统中的图传信号进行分析,辅助进行现场侦查和人员搜救等工作,验证了本文算法的可行性和实用性。
其他文献
近年来,越来越多的体育明星从“体育界”跨越到“政界”、“商界”、“娱乐界”,我国体育明星跨界传播现象主要呈现以下四种特征,一是传播场域类型逐渐细分,二是跨界人数逐年
随着遥感技术与图像处理领域的相关技术的不断发展,遥感技术已经广泛应用于土地、林业、农业、军事侦查、海洋环境评估、地图制作等等多种领域。而遥感图像在成像过程中极易受到云的干扰,多少遥感图像不可避免的会有一些区域被云层覆盖,从而使得图像清晰度降低,增加了目视解译的难度,造成物力财力的浪费。在遥感图像领域,根据云层的光学厚度不同,可以将其分为两类:薄云和厚云;厚云往往完全遮掩了地表信息,没有参考图像的辅
以废旧锂电池正极极片粉浸出液为原料,采用铁粉还原法沉淀铜—硫化钠深度除铜—中和水解法除铁铝—氟化钠除镁工艺流程综合回收有价金属。结果表明,铁粉加入系数1.1时,铜能大
以某高锂混盐型盐湖卤水为研究对象,采用β-支链伯醇(A1416)萃取分离硼,考察了卤水初始pH、A1416浓度、萃取混合时间、相比O/A、温度等因素的影响,优化了萃取工艺参数,分析了
从1999年元旦开始,欧元将作为欧盟的统一货币。这不仅标志着欧盟一体化进程取得了重大进展,也是当今国际货币格局中的一次巨变,对世界政治经济格局也会产生影响。
在委托代理问题中,人们常常关注的是激励制度,但本文关注的是契约背后蕴含的利益关系,并从会计角度着重分析经理人员(代理人)在是否拥有股份的情况下,非货币性利益的变化及对公司
金属材料表面工程是材料科学的一个重要领域,近二十年来得到迅猛的发展。许多传统的表面处理工艺得到革新,并且发明了很多的金属表面工艺方法。表面技术应用在工业上,大大提高制造业的效率和发展速度,为国家和社会带来了巨大的经济效益。制造业的发展离不开切削刀具,切削刀具已经成为提高制造业技术水平的非常关键因素,切削加工的各项要求日益提高,高速、高精度、高效率、智能应用和环保等成为现代切削加工主要追求的目标和要
9月15日,西宁公交集团“周末党校”开班,邀请西宁市委党校公共管理教研室主任、高级讲师赵红做《推进“两个绝对”具体化增强狠抓落实本领》的专题党课辅导,集团公司党委班子
步行商业街是一个现代城市不可或缺的公共活动场所,许多著名的步行商业街甚至已经成为吸引游客的城市名片。虽然目前全国的步行商业街数量逐年增加,但我国步行商业街的设计还