基于时空融合的Deepfake视频检测算法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:milin1215
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字视频广泛应用于新闻传媒、司法鉴定、法庭取证等各个领域,然而随着信息技术的发展,越来越多强大的数字视频编辑技术得到开发和使用,更多的用户能够对视频进行自由随意的处理和修改,使得部分恶意用户有了可乘之机,视频的真实性和完整性难以保证。目前,被广泛使用的Deepfake技术能够通过交换不同人的脸部来创建伪造视频,使其几乎无法被人眼分辨,对信息安全构成严重的威胁。因此,本文基于深度学习技术研究Deepfake视频检测算法来揭示视频是否经过Deepfake技术篡改,验证视频数据的真实性,主要工作包括:(1)提出了基于时空特征的Deepfake视频检测算法。该算法设计了时间特征提取模块和空间特征提取模块,时间特征提取模块可以捕获Deepfake视频帧间不连续性,空间特征提取模块能够提取在空间域上的伪造痕迹。最后设计了相应的融合模块来挖掘两路特征隐含的互补优势。实验结果表明,与主流的基于空间特征的算法相比,所提模型在Celeb-DF、Face Forensics++两个数据集上的准确率分别提高了1.07%、3.13%。(2)提出了基于时空注意力的Deepfake视频检测算法。该算法提出特征提取模块和注意力引导的长短时记忆模块,以提取更有效的时空特征。首先,特征提取模块将分别从骨干网络的全连接层提取高级语义特征,以及从骨干网络的中层卷积层提取空间特征,然后将提取的特征图输入注意力引导的长短时记忆模块来学习时空信息。注意力引导的长短时记忆模块包括时间注意模块和时空注意模块,旨在关注视频中的关键伪影信息。实验结果表明,与流行的Deepfake检测算法相比,所提模型在Celeb-DF、Face Forensics++两个数据集上的准确率分别提高了1.33%、1.89%。(3)提出了基于跨模态时空融合的Deepfake视频检测算法。该算法采用空间卷积神经网络作为骨干网络提取视觉特征,同时设计了音频网络提取音频特征,并将其作为注意力流在空间维度上引导网络进行视觉建模。此外,设计了音视频交互模块以保证音视频特征的融合。实验结果表明,相较于目前先进的Deepfake检测算法,所提模型在Fakeavceleb、DFDC两个数据集上的准确率分别提高了3.87%、2.96%,进一步验证了所提模型在Deepfake视频检测任务上的有效性。
其他文献
在web2.0时代,无线网络和智能移动设备的普及使得大规模的互联网用户参与网络协作成为可能,移动众包模式应运而生,展现出了极大的应用价值,获得了学术界广泛的关注。因为众包工人的水平参差不齐,答案决策成为移动众包的核心技术之一。目前的答案决策研究存在一定的局限性。一方面,现有的研究假设任务的答案服从特定的概率分布,而时空约束下使用常规的概率模型对任务答案进行建模可能无法反应真实的情况。另一方面,现有
学位
推进综合管廊发展建设,消除“城市蛛网”现象,提高城市智慧化和绿色化水平,是当今城市发展新形式下的目标和要求。但多种管线的集中入廊也带来了复杂的运维安全管理问题。其中,燃气管线灾害事故的严重破坏性给综合管廊的运维安全带来了巨大威胁。因此,探究综合管廊燃气灾害事故风险的演化关系,明确关键风险并及时预警,保证综合管廊运维安全管理是当下亟需解决的重要问题。由于内部环境的复杂性,燃气管线易受风险之间的耦合作
学位
交叉口在城市道路网中位置关键,其运行状况对维持整个道路网的运行畅通性有着极其重要的作用,因此需及时对交叉口采用合理的方式进行管控。但由于城市空间功能分布以及居民出行时段存在差异性等原因,导致车流在交叉口处运行时常在通行方向分布上出现波动,针对此类问题一般通过调整车流在交叉口处的通行时间或者通行顺序进行解决。但当各转向交通流波动变化较大,若依旧通过信号控制手段进行解决常会缩减其他方向车流的通行时间,
学位
激光雷达点云可以提供准确的3D位置信息,因此它被广泛地应用到机器人和自动驾驶多传感器系统(如相机和激光雷达)中。然而,受到硬件的约束,激光雷达设备存在两个固有的缺陷:1)激光雷达点云十分稀疏。2)激光雷达帧率相对较低。本论文拟采用深度学习的方案预测未来帧的稠密伪雷达点云,从而解决上述的问题。工作总结如下:(1)提出了一个用于预测未来帧伪雷达点云的深度学习网络。由于硬件原因,激光雷达频率较低,导致在
学位
中国金融期货交易所自2006年成立以来,陆续推出沪深300股指期货、上证50股指期货、中证500股指期货,在完善我国金融市场的同时,充分发挥促进经济发展的功能。股指期货的双向交易机制对传统金融市场来说,既能平衡市场多空力量,保障市场平稳运行,也有利于不同市场主体套期保值,建立对冲机制降低价格风险,因此预测股指期货价格是广大学者与投资者共同关注的问题。传统的金融市场预测方法面对复杂金融数据处理时,难
学位
随着电力市场化改革的深化,我国电力能源结构逐步向绿色低碳方向转型,催生大规模可再生能源和高比例新型负荷接入,新型电力系统“双高”、“双随机性”的特征愈发突出。仅依靠电源侧进行功率调节以满足发用电实时平衡的方法成本代价过高,与电力高质量发展方向相悖,故破解问题的聚焦点转移到用电终端。建筑用户坐落分散、数量庞大、配置设备类型多样并且用电行为具有趋同性,一系列特征表明建筑用户有潜力参与调节,而直流系统利
学位
应县木塔是世界上现存最高的一座多层纯木制楼阁式宝塔,具有极高的科学文化价值。应县木塔的动力性能研究已有部分成果,但基于动力性能测试的高阶扭转振型的识别、刚度偏心致平扭耦合规律的研究和不确定性地震响应分析的研究成果较少。针对以上不足,形成了本文的课题研究思路。该研究工作能够弥补应县木塔动力分析方面的部分空白,引入刚度偏心的概念,对木塔进行地震响应分析,能够为应县木塔的抗震性能评估提供参考。主要内容包
学位
图像处理作为光学工程领域的重要研究方向,在深度学习的推动融合下迎来了新的发展,能使图像的语义信息能更好得被发掘和表达。现阶段隐藏在城市各个角落的小微空间由于面积较小、人迹罕至等原因没有得到广泛的关注和高效的利用,而这些小微空间的开发能够提高城市管理规划的效率和提升城市的活力,因此小微空间的识别定位工作十分重要。传统的小微空间定位研究工作需要耗费大量人力物力实行现场调查研究,成本高且效率低下。街景图
学位
随着我国铁路的高速发展,信息技术已经成为保障铁路运输安全高效运行的重要支撑。为了保障铁路货车的安全运行,需要对铁路货车关键零部件进行及时维修。由于以闸瓦为主的踏面制动是铁路货车主要的制动方式,因此,及时替换失效的闸瓦对保障铁路货车安全运行十分重要。目前铁路部门主要是对铁路货车做日常检查和定期维修,但是这种维修方式存在维修周期短、维修成本高、维修过剩等问题。随着传感器技术的发展,可以获得的大量监测数
学位
在雨雪等不利天气条件下,城市交通拥堵加剧,北京、天津等大城市在降雨条件下经常发生多路段区域性交通拥堵。因此,本文基于天津市中心城区和市郊区域路网的交通流数据,研究不同降雨量对路网宏观交通流的影响,掌握城市交通在不同降雨量下的交通流特性以及其分布和变化规律,并设计管控措施,从而缓解降雨对路网交通流的影响,保障路网交通系统的稳定运行。具体研究内容如下:首先,本文根据天津市中心城区和市郊区域路网实际交通
学位