人像摄影是一种热门的拍摄题材,然而在很多场景下,诸多不可控因素,如背景人物众多、背景繁杂等,都会导致成片效果不尽如人意。此外,静态的图像不能像视频或动图一样表达丰富的信息,如果能使目标人物在同一张照片中反复出现,就可以通过让目标人物摆出不同的姿势来表达丰富的信息。现有的方法大多通过Photo Shop等图像后期处理软件,人为判定背景人物并进行图像复制粘贴等处理达到上述特效效果。这种方法不仅操作费时费力并且可能选择到错误的目标人物,还有可能造成图像信息缺失。本文基于实例分割算法,设计了一种动态场景下的目标人物重现特效生成框架,在去除背景人物的同时使结果图中目标人物多次出现在图中不同的位置,以传递更多的语义信息并使图像背景干净。本文利用现有的实例分割算法框架对图片中的人物进行检测与识别,并对实例分割算法进行了深入的研究和改进,以解决检测不到远处的背景人物问题。主要工作内容如下:1.设计了一个人物重现特效框架,该框架主要包含四部分:人物检测、人物统计与识别、实例分割与图像区域复制粘贴。2.设计了一个基于卷积神经网络的人物特征提取、比较和统计方法。由于动态场景下行人不断变化但目标人物始终在图像中,本文通过统计每个人物在所有输入图像中出现的次数,判定其是否为需要保留的目标人物。3.对于目标人物与背景人物独立没有重叠部分时,直接采用实例分割算法对人物进行分割,利用分割得到的掩膜实现人物重现特效。针对目标人物与背景人物有重叠部分的情况,本文设计了人物粗分割、三区域标注图生成方法和图像去背景方案,得到精细化的人物掩膜进行后续处理。4.深入研究并分析了现有实例分割模型对小目标的漏检情况与原因,并针对这一问题对特征提取骨干网络结构进行了优化。本文在特征提取网络的不同阶段加入了不同扩张率的空洞卷积。空洞卷积使得网络不承担额外运算量的同时,深层的特征图也可以保持较大的尺寸,从而有利于检测小目标。5.在特征金字塔网络中,深层特征图需要先扩大到与低层特征图相同分辨率再进行逐元素相加融合,导致低层特征融合路径过长。本文在特征金字塔网络后面连接了一个自下向上特征融合的路径,在该路径中,低层特征经过卷积层,与高层特征统一分辨率和通道数,然后与高层特征进行融合。减少了低层特征需要通过的卷积层数,使小目标的特征容易保留。本文在高层特征与低层特征横向连接时,增加了恒等映射,使得网络无需负担更多计算量的同时,能够保留更多低层特征,有效地提高了网络对小目标的检测性能。除此之外,由于上采样过程中采用的最近邻插值法会导致混叠效应的出现。本文采用了最近邻插值法与卷积操作结合的方法,有效的避免了混叠效应带来的特征混乱等负面影响。