深度视频生成和伪造检测技术研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:lpf811
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,基于深度学习的伪造视觉内容对网络空间安全造成了极大危害,攻击者利用伪造的虚假图像/视频敲诈勒索、混淆视听,严重威胁着认知安全、司法正义、甚至国家安全。针对深度伪造视频的检测技术成为一个日益迫切的需求,其中威胁性最大的是面向人像的深度伪造(如伪造名人发表敏感言论、做敏感行为),也是本文的研究重点。虽然现有检测模型在标准数据集上表现良好,但仍存在两个问题。一方面,现有检测模型大多直接采用语义分类任务的标准结构(如XceptionNet/ResNet),缺乏针对伪造检测任务的模型结构设计;另一方面,现有方法和数据集侧重针对已有视频的编辑篡改(例如换脸、属性篡改,这种伪造方式会导致固有的伪造痕迹而易于检测),而忽略了不依赖已有视频的全局生成方式(例如直接生成人物发表某言论、做某行为的视频)。针对上述问题,本文展开了两个方面的研究工作。首先,本文探索了高质量的视频内容生成。与基于已有视频进行局部编辑篡改的伪造方式相比,全局视频生成是一种更为新兴的深度伪造方式,是对现有检测研究的一种潜在攻击手段。由于目前的伪造检测主要针对已有视频进行编辑的伪造方法,在这一方面存在空缺。本文主要解决视频生成中的人物动作序列生成的难点。通过将人物动作分成两个互补的部分:姿势模式、节奏性动作,本文提出了一种基于模式解耦的全身动作生成算法。该模型包含一个双流生成模型,一个是负责主体姿势的姿势模式分支,另一个是负责节奏性动作的节奏运动分支。姿势模式分支以输入语义为引导,在条件变分网络的隐空间中进行随机采样来生成高度多样的姿势模式,节奏运动分支根据语音韵律、语调,生成对应的节奏运动。在两个标准数据集上与多个现有工作的对比实验证明,该方法可以生成多样、真实的全身动作序列。通过融合现有视频生成技术,本文进一步提出一种端到端全身视频生成方法。相比传统基于视频编辑/篡改的方法,该方法可以端到端地生成目标人物的视频,而不需要依赖已经存在的视频。其次,在上述工作基础上,本文进一步研究了专用于伪造视频检测的模型设计,探索适用于鉴伪任务的神经网络设计准则,提出了针对局部视频编辑、全局视频生成等深度伪造的高效检测模型。通过快速网络结构搜索,以及对优秀检测性能模型结构的画像,本文研究构建伪造检测模型的基本要素。具体来说,基于One-Shot NAS技术对大量模型结构的检测性能进行采样,对比不同结构模式对检测性能的影响。主要的发现包括:1)模型的浅层结构更重要,应当分配更多的计算资源与参数量;2)具备捕捉大范围关联特征的能力(例如大尺度的卷积核、较宽的连接模式)可以有效提升检测性能。基于这些结论,本文提出了一个专用于深度伪造检测任务的模型结构空间(DSS)。与现有模型相比,本文提出的模型结构(DSS-Net)可以在节约超过75%参数量的同时达到相同或更好的检测性能,在针对局部内容篡改和全身视频生成的伪造检测上均优于现有的检测模型。综上所述,本文针对互为攻防关系的深度视频内容生成与检测技术进行了深入研究。一方面探索新兴的视频生成技术极限,发掘其技术特点与造假潜力;另一方面提出专用于视频鉴伪任务的检测模型。本文的研究成果填补了现有检测研究在模型结构设计、应对新兴视频生成的两方面研究缺陷,为更好地检测伪造视频提供了新的见解。
其他文献
随着当今世界新一轮产业变革的深入发展,全球贵金属新材料产业迅速发展,规模不断扩大,国家和云南省在先进制造业、战略性新兴产业、新材料等中长期发展规划中大力支持稀贵金属产业发展,这给SPM公司带来了一系列新的机遇。同时,由于其主要竞争对手——四家国际老牌贵金属公司目前在贵金属新材料领域高端产品及关键技术、核心装备和市场等方面处于垄断地位,约占有全球80%和中国70%的市场份额,也让企业面临着巨大挑战。
学位
国家安全是一个政党、国家、民族生存与发展的重要保障。总体国家安全观是党系统、全面、深刻把握和分析我国面临的新形势、新特点提出的科学理论,是党在成功维护国家安全的过程中总结出的历史经验和科学结论,是马克思主义中国化时代化的重大理论和实践创新,是习近平新时代中国特色社会主义思想的重要成果和体现。当下,世界正经历百年未有之大变局,中国日益走近世界舞台中央,成为世界多极化进程中的一支重要力量。一些随着中国
学位
水资源是人类生活及社会发展的基础。随着人类对水资源的过度利用以及全球气候变暖影响,水资源不足对社会经济发展的制约愈发明显,这一问题在干旱区尤为突出。厘清区域水资源现状及水循环过程有助于实现水资源合理开发利用,对缓解水资源危机具有重要意义。本文以西北干旱区石羊河流域为研究区域,于2017年4月~2019年10月期间对研究区内的大气降水和地表水进行系统性采样,分析了不同水体中氢氧稳定同位素组成及时空变
学位
为了应对愈发严重的能源和环境危机,开发绿色、高效、可持续的能源(如氢能)迫在眉睫。目前许多半导体光催化剂可用来实现太阳光驱动的光解水来获得氢能,但存在催化效率低、难以投入大规模应用等缺点。尤其是一些宽带隙的半导体光催化剂,因为光吸收效率低、带边位置与水氧化还原电位不匹配、光生载流子复合率高等原因,光催化性能不理想。为此,人们发展了许多方法和技术来克服这些缺点,其中掺杂能有效调控半导体光催化剂的能带
学位
互联网时代知识信息出现了爆炸式地增长,人们难以高效、准确地获取目标知识。针对这一需求,图谱问答技术使用知识图谱提供的高质量信息,自动获取用户提出的自然语言问题的准确答案。现有工作虽然取得了一系列的成果,但在实际应用中仍面临众多挑战。一方面,多数场景下图谱中实体的规模会逐渐增大,如何对不断新增的实体进行高效建模是一个亟待解决的问题。另一方面,图谱问答系统应该具备处理复杂问题的能力并提供可解释的推理过
学位
近年来,随着人工智能技术的不断发展,大量应用场景开启了智能化、自动化的进程,其中,自动驾驶成为备受关注的一个领域。为了能够进行自主的路线规划和及时避障,自动驾驶汽车需要准确的环境感知能力。激光雷达可以获取周围场景的三维数据,弥补光学相机的不足,而点云语义分割可以对激光雷达采集的三维点云数据预测出逐点的语义类别标签,实现场景理解。因此激光雷达点云语义分割方法的研究对于自动驾驶的实现至关重要。然而,自
学位
三文鱼是一种富含蛋白质、脂质及其他营养成分的水产品,深受广大消费者的喜爱。低温是抑制微生物生长以及抑制脂质氧化并影响三文鱼保质期的最重要的环境因素,但在实际的冷链物流过程中,尤其是在装卸货物时,要保持温度恒定非常困难,发生温度波动难以避免。因此,冷链物流过程中温度波动如何影响三文鱼品质,以及如何开发保鲜技术来控制其品质劣变是亟待解决的问题。为探究三文鱼的腐败原因及保鲜技术的研发,本研究首先对比研究
学位
金属有机框架(MOFs)材料具有结构多样性、大比表面积、可控的孔径以及主客相互作用等优点,近年来一直是人们的研究热点。而具有独特二维结构的半导体性质金属有机框架(2D MOFs)材料,经过进一步的结构优化后,可实现金属有机框架中金属/有机配体的功能化修饰,调控材料的半导体特性及其对目标检测物的吸附效果、氧化还原反应等,将为制备新型高性能的场效应晶体管元件(FET)以及MOFs基生物传感器和气体传感
学位
本论文进行了金属药物的抗转移体系构建及机理研究。主要分以下两个部分:(1)研究了金属药物顺铂与肿瘤转移相关蛋白Sp1的反应活性,并探究反应差异性原因;(2)设计并合成了一种以人血清蛋白HSANP做为载体的Ru(Ⅲ)和反式维甲酸(ATRA)共运输体系,该金属药物共运输体系毒性低且具备抗肿瘤转移效果。以上两项工作对金属抗癌药物的构建及其作用机理进行了深入的探索,希望可以给新的金属抗癌药物的设计与合成提
学位
迄今为止,日常大宗化学品主要来源于石油、天然气和煤等不可再生的化石资源。生物质是地球上唯一可再生的碳资源,高效合成生物基高值化学品的研发对促进化工的绿色合成与可持续发展具有重要意义。然而,由于生物质组成结构的多样性、中间产物与反应通道的复杂性,生物质定向合成高值化学品仍是具有挑战性的科技难题。本论文通过生物基复杂体系反应路径的有机耦合,结合催化剂功能化设计,探索研究了半纤维素定向合成生物基高值化学
学位