图像实例分割是人工智能与图像识别领域的重要发展方向,其像素级的目标分割被广泛应用于工业生产、医疗卫生和社会安全等领域。传统图像实例分割算法容易受到目标形变、重叠、光照等因素的影响,其分割精度不高。基于卷积神经网络的特征提取方法虽然在目标检测、语义分割等任务中取得了较高的测试精度,但仍然存在一些问题。一方面,由于图像中目标尺度差异较大,导致检测精度降低,且分割结果不准确;另一方面,在语义分割阶段,池化过程导致特征图尺寸下降,像素点通过全连接层的映射和分类出现偏差,同时传统的实例分割模型不能对生成掩码的完整性进行评估,使得生成的目标掩码不准确。在现有实例分割算法框架的基础上,本文通过研究MTCNN和DNN等深度学习方法,以解决实例分割过程中目标尺度差异较大、掩码生成不准确的难题。本文的主要工作如下:(1)本文设计了一种多尺度探测器MSD(multi-scale detector),用于在特征图中提取不同尺度的实例目标特征,以消除目标尺寸差异较大的影响,提高实例分割精度。传统基于深度学习的目标实例分割算法在特征提取阶段通常使用单一的卷积核尺寸,难以提取特征图中不同尺寸的实例特征,并且在池化过程中大部分的小尺度目标易出现梯度下降的问题,从而出现目标定位不准确或误检的现象,给后续网络的分割任务带来了困难。为此,本文借鉴了人类视觉系统中的注意力机制,设计了一种残差结构与不同尺寸的卷积核相融合的多尺度探测器。该探测器作用于特征提取网络自上而下的路径中,为每次池化的结果提供完整的特征重构,这些重构后的特征向量形成了下一阶段的输入。MSD能够将不同尺度的特征进行融合,使卷积核的感受野范围更大,能够提取不同尺度的实例目标特征。为了进一步降低目标检测网络中输入图片尺寸比例不同所导致的识别精度降低问题,本文提出一种改进的空间金字塔池化方法。由于传统卷积神经网络的输入通常是固定的尺寸,导致训练样本中同一类别的实例目标发生不同程度的形变,且特征提取不完整,从而使识别精度降低。本文通过反卷积操作将局部特征映射到不同尺度的空间并将其融合,使卷积神经网络能够适应不同比例、多尺寸的图像输入。(2)在掩码生成网络中,将掩码生成网络提取的语义特征与特征提取网络中的类别特征进行多级融合,同时设计了一种基于掩码评估的掩码生成网络来提高实例分割的精度。掩码生成网络是实例分割的最后一个阶段,使用语义分割算法进行逐像素的类别判断。这种语义分割网络的输入通常为特征提取阶段的输出分支,由于特征图的尺寸小、维度高,损失函数对于该阶段的反向传播效果并不明显,导致实例目标部分遮挡或重叠情况下的像素类别判定不准确,特征图通过全连接层的映射不能够生成较为准确的实例掩码。本文首先采用特征融合的思想,将不同阶段的特征信息进行融合,作为语义分割网络的输入。同时使用掩码评估分数与掩码损失函数相结合对生成的掩码完整性进行评估,为掩码生成网络的权重进行进一步调整。