基于神经网络的伪造视频检测技术研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:thomas962
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网时代的发展,人们获取信息的媒体载体发生了变化,人们更加习惯从视频中获取需要的信息,通过分享视频来分享生活、传递情感。以Deepfake为首的深度伪造视频技术在深度学习技术的发展中孕育而出。通过这些技术,使用者可以随意对目标视频中的人脸进行篡改替换。深度伪造视频具有欺骗性强、成本低的特点,很容易在主流视频网站上被大肆传播。这些虚假视频的传播不仅会侵犯个人的隐私,同时还会给社会乃至国家的稳定带来威胁。因此,基于神经网络的高效深度伪造视频检测的技术研究及其系统研发成为了伪造视频防御战的重要一环。首先,本文提出了一种基于唇音同步的深度伪造视频检测方法,通过改进的孪生神经网络对视频的图像流与音频流进行对比检测。设计了一种改进的双流孪生神经网络,实现了一条上采样网络流与一条下采样网络流进行多尺度预测,将音频流的特征图与视频流的图像混合为双通道图像作为输入分别送入两条网络流中进行检测,通过铰链损失函数与正则项系数最终得到视频检测结果。在公开数据集DFDC和DF-TIMIT上的实验结果表明,本文方法的伪造视频(包括音频篡改等)检测准确率达到90.7%,优于其他检测算法。然后,本文提出了一种基于多模态的深度伪造视频检测方法,通过音频模态、唇部运动模态、面部运动模态来识别深度伪造视频。在唇部运动模态与面部运动模态中,使用性能与准确率均衡的Efficient Net-B3进行特征提取;在音频模态中,为了充分利用视频数据集的时序特征,使用三维卷积神经网络对Res Net网络进行优化,作为音频流的特征学习网络。针对只含有单模态的视频,使用交叉熵损失函数来计算单模态的不合理性,来检测伪造视频。在多模态的识别中,使用对比损失函数计算不同模态间的不协调性,来检测伪造视频。在公开数据集上进行了大量实验,本文方法在最新的DFDC数据集上的准确率达到了95.87%,比现有的深度伪造视频检测方法提高了约5%。基于所提出的深度伪造视频检测方法,本文设计并实现了一个深度伪造视频检测系统。该系统采用浏览器/服务器架构,后端采用Spring Boot框架,前端使用React框架进行交互,对所提出的视频检测算法进行了设计与实现,提供了基础用户管理、数据交换以及视频检测功能,为使用者提供高效便捷的深度伪造视频检测服务。
其他文献
近年来,能源紧张和化石能源产生的环境污染问题急需解决,寻求可再生清洁能源成为材料、能源等学科的重点研究方向。利用传统试错法和密度泛函理论计算的方式寻找光伏材料的错误率高,消耗资源大且耗时久。本工作结合机器学习预测与第一性原理计算,成功预测出高效且稳定的潜在二维钙钛矿材料(Ba2VON3和Sr2VON3),并对材料的能带结构、稳定性、光学吸收谱以及理论最大光电转换效率进行模拟计算,同时研究了碳离子注
学位
随着互联网社交论坛中在线内容的激增,立场检测作为情感分析的一个重要子问题,得到了越来越多的关注与应用。与此同时,针对立场检测的研究也面临了较多挑战,比如静态词嵌入技术对文本上下文语义理解不充分和模型速率较慢等问题。现有的立场检测模型往往只针对单一语言或单一来源的数据集展开研究,也很少有研究者考虑模型的训练及预测速率。为解决上述问题,本文提出了基于DBMPT的立场检测模型,实现了具有立场检测功能模块
学位
大频差可调谐双频激光器在激光干涉测量、光生毫米波、激光雷达等领域有着巨大的应用潜力。常用的双频激光产生方法主要是利用塞曼效应、Sagnac效应、磁光效应、旋光效应和双折射效应等,将一个激光频率分裂以获得两个频率。基于塞曼效应的0.632μm双频He-Ne激光器,因受到Ne原子荧光线宽(1500 MHz)的限制,频率分裂量较小。相比而言,固体荧光线宽要远远大于气体的荧光线宽,通过引入双折射效应获得双
学位
随着人工智能计算能力的日益增强与可获取数据量的日益提高,知识图谱和事件图谱成为计算机领域内相当成熟的一个应用。但由于现有知识图谱和事件图谱大部分由一种语言构成,而一种语言无法对整个世界的知识进行全面描绘。在大数据时代,不同语言的信息共享已成为世界发展趋势。跨语言图谱融合由于多语言间的一词多义、一义多词以及未登录词等问题,一直是一个很难找到最优解决方案的研究难点。跨语言事件图谱融合旨在找到不同语言事
学位
在日常生活中保持社交距离有助于保护人们的生命财产安全不受侵害,尤其是在疫情时期,保持一定的社交距离是防止病毒传播的有效途径,然而个体并不习惯自己与其他人之间保持2米以上的距离。因此,能够探测行人间距并向他们发出警告的社交距离检测系统可以有效减缓致命疾病的传播。当前,国内外研究人员分别在行人检测、跟踪与距离估计等领域有深入研究,但针对以上领域的融合研究仍相对较少。本文提出了一个包括行人检测、行人追踪
学位
据世界卫生组织(WHO)统计,每年全球大约有180万人直接或间接死于胃肠道类疾病,然而目前存在专业内镜分析医生较少,患者产生的内镜数据较多导致的医患矛盾问题。故考虑使用人工智能“AI”辅助消化道疾病识别,而基于人工智能的消化道辅助诊断技术面临数据量大,分类网络模型众多,数据隐私安全得不到保障导致的网络模型选择困难。因此,本文针对前述关键问题做出相关研究。本文针对深度学习在医学图像领域面临的:数据隐
学位
被动锁模技术是目前获得超短脉冲输出的重要手段。基于被动锁模技术的超短脉冲激光器,其输出脉冲具有持续时间极短,与物质相互作用过程超快的特性,是各学科研究微观超快现象的理想工具,并且在生物医学、工业加工以及军事国防等领域发挥着不可替代的作用。超短脉冲掺镱光纤激光器不仅具有上述特点,而且汲取了三价镱离子和光纤的优点,成为了一种输出脉冲持续时间短、输出功率高、结构紧凑、散热优良、使用成本低的特殊激光器,拥
学位
许多预防和治疗癌症的药物都以DNA为靶分子,研究抗癌药物与DNA分子之间的相互作用位点及作用过程,对阐述药物抗癌活性和毒性机理,寻找低毒性、高效率的抗癌药物,指导合理用药以及预防药物污染具有重要意义。阿霉素(Doxorubicin,DOX)是一种以DNA为靶分子的广谱蒽醌类抗癌药物,对乳腺癌、肺癌、多发性骨髓瘤等多种癌症的治疗效果显著。然而,由于DOX具有心脏毒性、胃肠道毒性、皮肤毒性等副作用,使
学位
深度神经网络等人工智能技术应用到了社会生活的各个领域,并取得了重大的进展,如语义分析、军事应用、图像识别、动作捕捉和语音识别等。然而训练深度神经网络模型需要花费大量时间,有些复杂深度神经网络模型在单个计算设备独立训练需要几天的时间,还有些神经网络模型在单个计算设备训练时会出现内存不够的情况。为了减少深度神经网络的训练时间,本文将重点关注深度神经网络训练加速技术的研究与实现,包括基于混合精度训练的并
学位
近年来,能源短缺和环境污染的问题日益突出,如何高效的利用能源减小污染成为了热点话题。太阳能界面光热转换是一种清洁的太阳能利用技术,在海水除盐、废水净化等领域展现出极大的应用前景。本文通过界面不对称润湿性(Janus)结构的构建实现持续高效的界面光热转化。论文主要以二维(2D)Janus平面膜和三维(3D)Janus结构器件入手,研究内容和结果如下:(1)二维SiO2/MXene/HPTFE Jan
学位