基于多域特征异常判别的换脸视频检测算法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:liongliong425
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频篡改技术随着深度学习的发展变得日新月异。近年来出现的Deepfake视频换脸技术,利用深度学习网络将原视频人脸替换成目标人脸,同时保留原视频的场景与人物表情,以达到身份替换的目的。该技术使用门槛低,生成视频效果逼真,若被恶意使用将对个人肖像权和社会舆论造成严重不良影响。因此,针对Deepfake视频检测的研究具有重要意义。目前,大部分Deepfake视频检测算法具有较高的库内检测准确度,但是当测试集与训练集所属的数据库不同时,检测性能明显下降,跨库泛化能力仍待提升。针对此研究现状,本文根据Deepfake视频的空域和频域特性,采用深度学习网络进行检测,具有一定的理论意义和应用价值,具体工作如下所示:1、通过实验对Deepfake视频真实样本和换脸样本的空域RGB图像、离散余弦变换(Discrete Cosine Transform,DCT)频谱以及非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)子带图进行对比分析,发现真实样本与换脸样本之间存在明显的空域特征差异与中高频域特征差异,以此作为出发点,提出两种换脸视频检测算法的设计思路。2、提出一种基于多域特征区域标准分数差异的Deepfake视频检测算法。该算法采用双支路模型分别对空域RGB图像和频域NSCT变换融合子带进行特征提取,利用纹理特征提取模块增强空域支路对于细节纹理特征的学习。然后计算特征在不同区域内的标准分数,通过Conv LSTM进行时空域分析,从而实现异常特征判别并生成篡改区域预测图。最后采用多任务学习的方法,对二分类预测结果和篡改区域预测图进行监督学习。实验结果表明,该算法在库内具有良好的库内检测性能,并且跨库检测性能稳定。3、提出一种基于多域块特征标志点配准的Deepfake视频检测算法。该算法通过双支路模型分别对空域RGB图像和频域DCT频谱进行特征提取,采用自适应滤波器模块提取频域支路的中高频域特征,并利用注意力机制优化特征学习。然后根据人脸标志点提取局部块特征和关键块特征,通过计算块特征之间的相似度捕捉异常特征。最后采用多任务学习的方法,对二分类预测结果、相似度矩阵和边缘梯度预测图进行监督学习。实验结果表明,该算法的库内检测准确度较高,并且在跨库测试中呈现良好的泛化能力。
其他文献
本试验旨在研究饲粮中添加枸杞多糖对羔羊生长性能、屠宰性能以及肉品质的影响。试验选取4月龄、体重相近(18.90±0.76 kg)的杜泊羊×小尾寒羊杂交二代公羔48只,随机分为4组,每组12只。分别在基础饲粮中添加0(对照组,CON)、0.1%(0.1%LBP组)、0.3%(0.3%LBP组)以及0.5%(0.5%LBP组)的枸杞多糖。预试期15天,正试期75天。正试期结束每组随机选取6只羊进行消化
学位
燕麦是广泛种植的优质粮饲兼用作物,其种子因富含脂肪而易发生劣变,从而降低其利用价值。抗坏血酸(AsA)是种子内主要的生理活性物质,参与许多物质代谢和氧化还原反应。采用AsA等生理活性物质引发是提高其种子活力的重要途径。因此,探索AsA引发种子的调控机制对保持种子活力和发挥其遗传潜能具有非常重要的意义。试验以10%含水量的燕麦种子为材料,经45°C控制劣变后用不同浓度的AsA引发不同的时间作为试验样
学位
报纸
为探究动物园土壤中耐高温真菌的群落组成及其降解角蛋白的能力。本研究以我国20个动物园的土壤样品为对象,在温度为40 °C条件下,采用稀释平板法和形态学与系统学相结合的方法对动物园土壤中的耐高温真菌进行分离培养和鉴定,随后基于脱脂奶粉培养基和鸡羽毛发酵培养基对菌株进行降解角蛋白能力探究。结果表明,从动物园土壤中共分离获得耐高温真菌3399株,隶属于8纲、9目、15科、39属、60种。在科水平,20个
期刊
排水沥青路面具有排水、降噪、抗滑等多种功能,大大提高了行车的安全性和舒适性。但是排水沥青路面服役过程中空隙容易被杂质堵塞导致道路的功能性丧失,此外,常规的排水路面尽管具有20%左右的空隙率但是连通空隙率只有14%左右,排水效率有限。为解决上述问题,本研究根据石墨烯本身的强度和疏水性强的特点,探究石墨烯改性沥青在排水沥青路面中的应用。首先,采用新型石墨烯材料对SBS沥青进行改性,制备了2%、4%、6
学位
仪表与人们生活息息相关,但是极端环境部署的仪表会给抄表人员带来风险,表计识别系统的远程抄表能力有助于克服这一风险。大多数基于视觉的表计识别系统依赖深度神经网络进行读数识别,对算力有较高要求,云计算天然具有高度的集群扩展性,云端部署表计识别系统有利于满足较高的算力需求。基于视觉的表计识别系统属于一种大规模图像识别系统,普遍对易扩展性、资源分配效率等方面有较高要求。本文针对表计识别系统的实际需求,主要
学位
油松(Pinus tabuliformis Carr.)具有耐干旱、耐贫瘠,根系发达,适应性强等特点,是劣质迹地营造防护林的首选树种,在森林生态系统中占有十分重要的地位。为更好地理解氮添加对油松天然林土壤和林木养分的影响及其随林龄和生长季的变化规律,探究土壤氮素供应水平和新生枝叶之间的养分关系,揭示植物N、P养分分配以及限制阈值,以期为指导林木生长环境调节和林地土壤肥力管理提供参考。以关帝山地区孝
学位
营养是生命活动的物质基础。饲粮营养水平不仅会影响动物的生长发育、生产和繁殖性能,而且能经母体效应影响后代。由于种母鸡和商品蛋鸡的生产目的不同,两者对饲粮营养水平和调控策略的需求存在一定差异。文章从饲养方式、饲养密度、饲养环境、产品质量等生产管理需要,蛋白质、能量、微量元素和维生素等营养需要,以及脂质代谢、氧化应激和免疫功能等调控策略出发,综述了种母鸡和商品蛋鸡的差异性,旨在促进产蛋鸡的精准饲养,提
期刊
在城市化进程中,日益增长的交通运输需求推动着城市轨道交通系统的发展,城市轨道交通系统发展的同时,进一步加快城市化进程的脚步。在地铁运营总里程数和地铁客流量日益增长的今天,地铁作为大能耗、高集约的运输手段,其节能问题值得深究。本文首先对地铁节能优化问题的国内外相关文献进行回顾,然后对国内外研究历程及现状进行对比分析,最后确定本文的主要研究内容为地铁列车时刻表节能优化研究。本文主要的研究工作为:(1)
学位
透水混凝土路面特有的多孔结构能够使雨水径流快速下渗补充地下水,但普通透水混凝土对地表径流仅有简单的过滤作用。矿渣基地聚合物透水混凝土力学性能优异、节能环保。赤泥是铝土矿提炼氧化铝过程中排出的不溶性残渣,具有较强的去除径流污水中重金属离子的能力。本文通过掺加赤泥提高地聚合物透水混凝土的净化特性,提出基于性能平衡的赤泥矿渣基地聚合物透水混凝土(RMSGPC)设计方法,实现赤泥固体废弃物资源化再生利用,
学位