基于生成对抗网络的视频人脸替换算法研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:yangtianlin888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频人脸替换是将视频中人脸的身份特征进行替换,同时保持其他特征不变,它是计算机视觉领域中一项非常重要的技术,其广泛应用于影视创作、社交娱乐、虚拟现实和隐私保护等领域。传统的人脸替换技术需要专业人员手动编辑,在人工干预的过程中存在精确度、真实感较差、替换速度较慢等不足。近年来随着人工智能技术的快速发展,运用深度学习的方法进行自动视频人脸替换逐渐成为了国内外的研究热点。本论文将对基于生成对抗网络的视频人脸自动替换算法进行研究,围绕人脸检测和人脸替换开展工作,主要的研究内容和贡献之处如下:(1)对于MTCNN人脸检测算法存在的计算量较大和检测速度较慢等问题,提出了基于MTCNN的改进人脸检测框架。首先使用中值滤波对训练样本进行预处理,去除图片中的噪声;然后构建特征图金字塔来实现多尺度的人脸检测;最后应用深度可分离卷积优化三阶段人脸检测网络,减少了网络架构中的计算量和参数量,并且此改进方法在WIDER FACE、FDDB公开数据集上取得了较好的效果,提高了人脸检测精度和加快了检测速度。(2)针对Deep Fakes人脸替换技术中存在的输入、输出人脸图像分辨低和替换效果较差等问题,提出了一种基于生成对抗网络的视频人脸自动替换方法,该方法使用了改进的MTCNN人脸检测网络进行人脸提取,对人脸图像样本进行数据扩充,增加数据的多样化,更好地实现网络拟合。生成对抗网络中的生成器是基于U-Net的自编码网络,利用编码器学习源人脸和目标人脸的共同特征,解码器学习人脸的特性信息,通过向编码器和解码器中加入跳跃连接来增强人脸的底层信息,并且引进自注意力机制,更好的学习图像序列的前后依赖关系,从而提高输出质量,最后对人脸替换视频的抖动问题进行了一定研究,实现了一种去抖方法,并在Face Forensics++数据集上进行了验证,最终得到替换效果更好,真实感更强的人脸替换视频。综上所述,本文对MTCNN算法进行了优化和改进,提高了人脸检测精度和速度,并提出了一种基于生成对抗网络的视频人脸自动替换方法:UGAN-Face Swap,该方法支持64×64、128×128和256×256输出分辨率并进行了视频去抖处理,在使用Face Forensics++公开视频数据集和影视视频作为视频序列素材的实验中证明了此方法操作简单、能够得到逼真的、真实感强的人脸替换视频。
其他文献
永磁同步电机(PMSM)控制技术的研究与永磁体材料、半导体、自动控制理论、电力电子、人工智能等学科关系密切。随着国家发展战略的调整,中国制造2025、高质量发展等目标对传统工业提出了更高的要求。传统PI控制器难以对工业现场中电机各种内外部变化做出快速而精确的应对,在高性能的PMSM驱动系统中力有不及。因此,必须结合先进控制理论,充分考虑永磁同步电机的特点,设计出性能更高、适应性更强的先进控制器,以
学位
白内障手术主要由切口,连续环形撕囊,劈核,超声乳化,人工晶状体植入,清理及后续等主要步骤组成,是用于改善或解决白内障引起的视力下降或受损的有效手段。其中,连续环形撕囊操作的精准程度对后续的人工晶状体植入等操作有很大的影响,从而决定了手术的精准程度和成功率。计算机视觉引导的白内障连续环形撕囊边界自动检测技术对于确保手术精准率、提升手术的安全性能具有重要的意义。但现有的直接针对白内障连续环形撕囊边界的
学位
下肢外骨骼机器人能够提高穿戴者的负重能力,又可以对行走提供助力,其控制策略的研究具有十分重要的意义。本文针对下肢外骨骼机器人的穿戴者运动意图识别与控制问题进行了相关研究,主要内容包括:首先,利用惯性传感器采集外骨骼穿戴者的下肢运动信息,用于下肢行走路况模式(平地、上楼梯、下楼梯、上坡与下坡)的识别与行走步速模式(3、3.3、3.6、3.9、4.2、4.5、4.8km/h)的识别,并设计了基于支持向
学位
从自然界生物集群的合作觅食到群机器人的目标搜索,群机器人目标搜索一直是多机器人领域研究的重点。群机器人系统在目标搜索和定位任务中,有自己独特的优势,被广泛应用于灾难人员搜救和爆炸源头的定位等领域。本文针对群机器人室内声源目标的搜索问题,提出了一种基于声音强度和粒子群优化算法的声源目标搜索方法。主要工作如下:首先,对单个声源下室内声场进行了建模和仿真,分析了室内声场的特点。在此基础上,以声音强度变化
学位
得益于风能自身清洁和资源充足的优势,风力发电技术已经成为新能源发电技术的一种主要形式,风电装机容量也在逐年上升。然而,风电机组运行环境恶劣,随着运行时间的增加,机组性能下降,导致风机故障频发,威胁风电系统的稳定运行。因此,对机组健康状态进行评估,掌握机组运行状态衰退趋势,实现故障早期预警,对保障机组安全稳定运行、降低运营成本有着重要意义。在此应用背景下,本文基于河北某风场风机的实际运行数据进行研究
学位
合成MRI可通过单次扫描获得组织的T1、T2及质子密度值,基于定量数据能够合成多种对比加权影像。目前,合成MRI技术已被广泛应用于中枢神经系统成像,不仅缩短了成像时间,还可通过弛豫时间定量成像、脑组织分割及髓鞘体积测量评估疾病的病理特征,对疾病的诊断、病理生理机制的研究、预后评估具有十分重要的作用。就合成MRI技术成像在脑肿瘤、脑血管病变、脱髓鞘病变、神经退行性疾病、癫痫、Sturge-Weber
期刊
报纸
近年来,遥感对地观测技术迅猛发展,可采集的遥感图像呈现出海量化、多源化、高分辨率的趋势。为加强遥感图像在城市规划、土地覆盖类型判别、自然灾害监测等领域的应用能力,遥感图像场景分类引起人们的广泛关注,其依据遥感图像的内容分配语义标签。传统的基于机器学习的遥感图像场景分类模型一方面需要收集大量的标注样本训练,另一方面要求训练数据与测试数据服从相同的分布,这造成模型难以对多源海量的遥感图像高效利用。域适
学位
近年来,由能源引起的环境污染问题备受关注,大力发展可再生新能源成为当今时代能源大方向,而风能凭借自身的优势进入了高速发展阶段。随着风电机组装机容量与高度的增加,其安全运行问题受到广泛关注。其中,雷电灾害是威胁风机正常工作的重要原因之一。目前风电行业的防雷保护设计发展较为缓慢,尚未有一套成熟有效的防护标准。因此,开展风电机组的雷电暂态效应研究具有重要理论意义和工程价值。本文针对机组关键部件建模并分析
学位
推荐算法能为用户快速并且准确的推荐符合喜好与需求的信息,解决了信息过载问题。近年来推荐算法在研究领域和应用领域都取得了巨大的成功,但是仍然面临着严重的数据稀疏性问题和冷启动问题,使得推荐效果降低。将知识图谱作为附加信息引入推荐系统在一定程度上缓解了数据稀疏性问题和冷启动问题,提高了推荐系统的精确性、多样性和可解释性。现有的基于知识图谱的推荐算法仍存在两点不足,首先现有的基于知识图谱的推荐算法在用户
学位