基于视频图像的人脸替换技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:beardengsha
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着时代进步和技术迭代更新,视频图像处理技术广泛应用于交通管理、航空航天、学术研究、生物医学等多个方面,为人们的日常生活学习提供了极大便利。近年来,人脸替换技术作为人脸视频图像领域新兴的研究方向,引起研究人员和学者的重点关注。但现存方法生成的人脸替换图像只保持了表情和姿势,常常忽略背景、光照等其他目标图像属性,且生成的替换人脸图像不自然,表情、姿势与目标人脸的吻合度较低。另一方面,由于不法分子对人脸替换技术的非法使用和肆意传播,扰乱社会治安,造成严重的信任危机和不良影响,因此针对各种假脸视频图像的检测工作刻不容缓。鉴于上述问题,本文提出一种基于多级属性编码器和注意力机制的人脸身份替换算法,该算法首先使用多任务卷积神经网络对源人脸图像进行人脸检测、对齐等预处理工作,然后利用Arcface特征编码器提取源人脸图像的身份特征,设计一种U型多级属性编码器,使用卷积层、反卷积层以及层间连接的方式将目标图像属性表示为多级特征映射。随后将注意力机制与生成对抗网络相结合,设计包含注意力模块的新型生成器,利用激活向量产生的注意力模型权重自适应地调整源人脸身份特征和目标图像属性集成的有效区域,从而生成逼真自然的人脸替换图像。随后,本文利用图像动画网络框架,提出一种基于一阶运动模型的人脸表情替换算法,采用自监督的方式解耦身份外观和运动信息,为了支持面部表情的复杂变化,首先定位面部关键特征点,在局部范围内通过仿射变换对人脸表情进行建模,再使用生成器网络对驱动视频中产生的遮挡进行估计,最后通过扭曲源人脸并修复被遮挡的部分使源人脸呈现出目标人脸的表情。该网络模型能够在目标视频的驱动下对源人脸图像进行实时表情替换,实验结果表明该方法能够快速细致地将目标人脸的面部表情和头部姿势迁移到源人脸图像上,甚至连视线方向都保持一致。最后,本文使用基于XceptionNet CNN架构的迁移模型对假脸伪造视频图像检测进行了研究,将深度可分离卷积引入Inception v3网络,把传统的卷积操作分为逐通道卷积和通道融合卷积两个步骤,使用36个卷积层进行特征提取,通过给网络模型提供一些真实的和深度伪造的人脸视频进行训练,学习伪造视频篡改区域的细微差异进而进行假脸检测。在实验阶段,对本文检测算法分别进行了库内测试和跨库测试,均取得了较好的结果。此外,还与假脸检测器Meso-4以及Inception-v3在多个Deepfake数据集上进行了对比和分析,结果表明XceptionNet的表现最好,能够准确地区分真实的和伪造的视频图像。
其他文献
本文设计出一种CO2传感器的自标定系统,该系统将采集到的数据上传到LabVIEW进行显示、处理、保存,实现传感器的全程自动标定。实验表明,该系统自动化程度高,并在当日CO2排放高峰期与同过程中的傅里叶变换红外(FTIR)系统进行数据对比,数据相关性达0.95,性能稳定,精度高。
期刊
通过介绍数码电子雷管的结构、工作原理、起爆系统分析其在隧道工程中的优势,计算隧道中爆破振动速度与冲击波压力。以某工程引水洞隧道实例详细介绍数码电子雷管在隧道爆破中的应用并对产生的盲炮进行原因分析。隧道工程应用表明,采用数码电子雷管可以明显改善爆破效果,减弱爆破振动,减少钻孔数目,岩石破碎均匀,大大提高了爆破作业安全性和施工效率,为今后数码电子雷管在工程应用推广起到积极作用。
期刊
目的 原核表达肠道病毒71型3C蛋白酶(enterovirus 71 3C protease, EV71-3Cpro)并制备其特异性多克隆抗体。方法 首先依据密码子优化原则合成EV71-3Cpro基因,将其克隆到pET-28a表达载体NdeⅠ和XhoⅠ位点间构建重组质粒,再以冷CaCl2法将其转化到大肠杆菌E.coli Rosetta(DE3)感受态细胞中,优化原核表达条件。以HisTrapTM亲
期刊
在冷战的大背景下,社会主义阵营内国家在相同意识形态下的“一腔热血”中连接在了一起。中蒙建交后,因旅居蒙古的华侨归国问题,在两国多次协商下,决定以中国派遣工人援助蒙古社会主义经济建设的方式换回滞留华侨。然而仓促实施的援建计划却将两国之间的矛盾激发出来。面对两国工人间的矛盾纠纷,中蒙两国试图通过外交途径解决以维护两国友好关系。但在援建后期,因中苏发展方向的变化、中蒙之间的不信任、蒙古内部的民族主义等问
学位
随着互联网服务的广泛使用,网络行为产生的日志数据呈现爆炸式增长,人们在享受着互联网带来的便捷服务的同时,也承受着网络安全面临的艰巨挑战。入侵检测作为一种用于检测和监控网络异常行为、维护网络安全的技术,它能够在危害发生之前,对越权的入侵行为进行检测与捕获。与传统防火墙不同的是,入侵检测使用动态的规则与异常行为进行匹配并识别异常,从而进行入侵检测。其中,关联规则挖掘是构建入侵检测方法的主流方法之一。然
学位
报纸
民间信仰繁杂是福建的地域特色之一,而在福建众多的民间信仰之中,蛇神信仰不仅以独特的动物神灵信仰独树一帜,也是历经千年传承不断而值得珍视的闽越遗风。由于古福建地区相对孤立的地理环境,在秦汉之前为闽越族聚居之地,他们的蛇图腾也是福建蛇神信仰的最早源头,随着闽越国的覆灭及人群的迁移,原始的蛇图腾在千年的流传过程中在各地形成了闽东、闽南、闽西、闽北四大区域相互各异的蛇神信仰。位于闽北的樟湖蛇神信仰因有着独
学位
一定的治理体系只有与一定的社会环境取得动态平衡,才能够得到成长,推动农村社会的持续前进。村级权力的合理配置与控权机制的有效运行事关农民生产与生活,事关农村政治生态,事关基层治理现代化。权力制约关系的实质是权力结构问题,构建决策权、执行权与监督权既相互协调又相互制约的权力运行机制是农村社会治理转型的客观需要。本文以G村的分权化治理为观察样本,试图以功能性分权为理论基础,从监督权的独立与完善,村庄层面
学位
绥远民众抗日自卫军是一支由国民党领导的以地方保安团为基础的地方民众敌后抗日武装力量。1937年,傅作义率领国民党第三十五军赴山西战场参加忻口战役,保卫太原。随着国民党正规军及相关武装力量的撤退,9月22日,绥远民众抗日自卫军作为一支地方性抗日武装力量应势而生。绥远民众抗日自卫军在包头设立总指挥部,在归绥、包头、武川、固阳等县设立六路支队。以1940年为分界线,前期,绥远民众抗日自卫军各支路积极开展
学位
在乡村社会的现代化转型过程中,市场化使得乡村个体主义价值观盛行,与城镇化共生的城市文化又快速侵蚀乡村文化,导致村民的集体主义精神持续流失,乡村文化认同感逐渐消退,从而带来了乡村文化治理的难题。与此同时,党的十九大报告提出了乡村振兴战略并将文化振兴视为乡村振兴的灵魂。在乡村治理现实需求和国家战略目标导向的双重驱动下,探索乡村文化治理很有必要。本文采用案例分析法,以山西省H村为研究对象,分析了该村文化
学位