论文部分内容阅读
个人肖像图像是社交网络图片分享的重要组成部分,然而受拍摄环境、摄影设备和用户自身摄影技巧等因素的影响,实景拍摄的人像图片质量普遍不高。图像合成技术被广泛应用于生成符合用户个人特点且具美学吸引力的高质量图像。作为妆容合成美化的基础,人脸图像分析技术通过对人像进行建模完成信息抽取及解析。现有基于人脸关键点的妆容合成方法,以人像五官关键点为基础进行妆容虚拟合成,在处理面部皮肤及头发等区域时普遍存在信息残缺等问题,妆容合成质量及稳定性有待提高。 本文提出基于人脸图像语义分割的妆容合成。考虑到人脸结构属性,人脸图像分析相关任务如人脸检测、关键点定位和语义分割之间存在一定协同性,本文基于深度多任务学习框架对人脸图像进行分析研究,并在此基础上展开基于人脸图像语义分割结果的妆容合成方法研究。本文的主要研究工作和贡献如下: 首次提出一种基于深度卷积神经网络的人脸关键点定位和语义分割多任务联合分析框架。在多任务框架中引入语义分割增强模块,以得到更精细的分割结果;提出基于残差连接的语义分割增强模块,增进网络不同分支信息共享。 研究深度多任务学习框架下的人脸检测和语义分割问题。提出多尺度残差连接特征融合模块,提升梯度传递效率,在不增加参数的情况下增加模块非线性拟合能力;研究多任务网络中降采样特征抽取模块对模型性能的影响。 构建人脸妆容合成应用。提出基于人脸关键点定位和语义分割结果的人脸妆容合成方法,基于人脸检测和语义分割结果,对皮肤平滑和染发应用进行研究,基于人脸关键点定位结果,完成换脸应用。