论文部分内容阅读
火灾是发生频率非常高的自然灾害之一,给社会和人民安全造成了非常严重的损害,研究快速有效的火灾检测方法具有非常重大的现实意义。由于烟雾的可观察性更强,因此,基于烟雾的火灾检测方法是该领域的主要研究内容。烟雾目标语义分割在计算机视觉研究领域和安全监控领域具有广泛的应用背景,能直接嵌入火灾报警系统中辅助完成火灾检测任务,对于后续人员疏散和财物转移具有很好的预警作用,因此,可作为火灾安全管理和应急管理的底层支撑技术。而基于深度学习的烟雾图像语义分割可以通过更加智能的方式及时检测出火灾发生的准确位置,其监控范围更广、报警速度更快,并且能够极大地减少人力投入。但是,烟雾目标具有模糊、半透明、非刚性的特点,因此,如何从烟雾图像中获取有效的关键特征,并利用这些特征对烟雾目标进行语义分割,是目前急需解决的主要问题。本文着眼于烟雾目标语义分割面临的主要难题,结合烟雾目标的特点,研究基于深度卷积神经网络的特征提取和语义分割方法。本文主要工作和贡献可概括如下。(1)提出采用图形学工具构建烟雾图像语义分割数据集。烟雾目标由于其边界非常模糊且飘忽不定,利用人工方式进行全图标注是非常困难且耗时的。因此,针对烟雾目标全图标签难获取的问题,本文提出利用基于图形学工具的烟雾模拟算法生成非常逼真的无背景纯烟雾渲染图,将其与多种复杂背景进行图像合成,产生训练数据。此外,为使训练数据更加多样化,包含更多模式的烟雾目标,同时一定程度上缓解类内相异性造成的错误分类问题,提出一种数据增强方式,主要通过改变烟雾的颜色来增加数据集样本的多样性。(2)提出一种基于双通道非对称编-解码结构的烟雾语义分割框架。为克服烟雾外观在纹理、颜色和形状上的巨大变化,提出了一个包含粗分割和细分割的双通道结构框架。粗分割路径是一个带有跳层结构的非对称编-解码全卷积网络结构,主要用于提取烟雾的全局上下文信息,获取烟雾目标的粗略分割结果。细分割路径是一个比粗分割路径深度略浅的非对称编-解码全卷积网络结构,以保留烟雾的精细空间细节。最后采用一个融合层将空间细节信息补充到粗略分割结果中以提升算法的分割精度。(3)提出一种基于多通道和自适应加权损失函数的烟雾语义分割框架。为解决烟雾目标多尺度问题,该算法提出一种多尺度残差模块,对网络在深度和宽度上进行扩展,同时采用自底向上的方式融合来自不同阶段的多尺度信息。为使网络更加快速稳定地收敛,对网络多个中间层输出进行监督,同时提出一种自适应加权多目标联合训练损失函数,并从反向传播算法的角度证明了,相比单目标损失函数,该损失函数可以使网络具有更快的学习速度。(4)提出一种基于多任务门控循环网络的烟雾语义分割框架。为提升网络学习烟雾目标长距离上下文依赖的能力,提出了一个注意力卷积门控循环单元。针对图像中的不显著烟雾目标,提出了一种多尺度上下文局部特征对比模块,通过获取不同尺寸目标的上下文信息,以及与上下文信息相对的局部信息,使网络对不显著烟雾目标的识别能力明显提升。为缓解类间相似性问题,提出了一个密集金字塔池化模块,能很好地聚合不同子区域的上下文信息,通过全局上下文先验的引入,提升网络对可区分性特征的表达能力。为进一步降低类间相似性可能造成的错误分割,引入一条单独的分类分支挖掘语义分割和识别任务之间的内在联系,该支路能提取图像最高阶语义信息,利用其辅助语义分割分支能明显改善由于外形相似问题造成的误分割。(5)提出一种基于边界增强和注意力机制的烟雾语义分割框架。为增强分割结果的边界信息,该算法将语义边界检测和语义分割任务整合到一个框架中,利用提出的注意力机制来充分挖掘两个子任务之间的关联性。为解决深度神经网络中长距离上下文依赖信息获取困难的问题,对目标的高阶特征采用提出的自身注意力机制,提升网络学习可区分性特征的能力,解决目标类内相异性的问题,同时借助对语义边界的监督,缓解类间相似性问题。最后针对语义边界检测任务中正负样本严重不均衡问题,提出一种边界损失函数,使其将更多的关注点放在困难样本的分类上。通过不断改进网络结构、训练损失函数、提出有针对性的功能模块,本文提出的四种烟雾语义分割框架有针对性地攻克了烟雾语义分割任务中的多个难关,并逐步提升了其预测精度。