基于生成式对抗网络的视频人物唇形修改系统的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:panzi911
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
观看视频时,视频人物唇形与音频不同步会极大地影响用户的观看体验。同时由于视频广告插入以及电影配音等商业化需求也使得唇形同步问题受到越来越多的关注。因此,唇形同步方面的研究也成为计算机视觉领域的一个热点。现有的唇形同步模型,主要是基于静态图像输出与目标语音匹配的唇形同步视频,但这对于动态的、在讲话的人物,唇形同步往往效果不佳。同时,该方式输出的视频存在人脸图像和视频帧不贴合的问题。针对这些问题,本文提出了基于生成式对抗网络的适用于任意身份视频且保持人脸贴切的唇形同步模型。输入的视频经过预处理流程,为生成器提供人脸脸颊信息,生成器使用门控循环单元对音频数据进行特征提取,并结合自注意力机制对唇形与音频之间的映射关系进行学习。同时搭配唇形同步判别器以及额外添加的人脸贴合判别器进行博弈学习,输出唇形同步且人脸保持贴切的视频。并且通过对比实验验证了本文模型的有效性。在此模型的基础上,本文设计并实现了一个视频人物唇形修改系统,将视频唇形同步模型用于辅助视频的创作编辑。通过前端、服务端以及模型之间的多模块通信,完成输入视频与目标音频的唇形同步处理。最后通过系统功能和性能测试验证视频人物唇形修改系统的可用性。
其他文献
旅游轨道交通作为发展旅游产业的一项重要举措具有广阔的发展前景.文章从景区旅游轨道交通客流特点出发,采用拓展的四阶段法进行旅游轨道交通客流量预测,该方法避免了采用淡旺季客流建设轨道交通导致的运输能力的不足或浪费,并且使用该方法对南平市延平湖景区旅游轨道交通进行客流预测,得到研究年度平日及节假日高峰小时最高断面客流,为景区轨道交通的规划建设提供了数据支持.
随着科技的进步,信息技术的发展越来越成熟.BIM技术作为信息化的工具,近年来逐渐被应用于公路桥梁的设计中.基于此,文章从BIM技术的基本概述和BIM技术的优势着手,具体讨论了BIM技术在公路桥梁设计中的应用.
近年来,BIM在建筑和市政工程设计中的应用取得了良好的社会效益和经济效益,但在水利工程的设计中仍未得到普遍应用.为了促进BIM技术在水利工程设计中的应用,文章以BIM技术的核心建模软件Revit为平台,梳理了建模设计流程和水工隧洞结构计算的完整过程,为BIM技术应用于水利工程设计提供参考和支撑.
对沿海城市而言,增强气候变化适应性是城市未来发展亟待解决的重要问题之一.文章基于文献研究和案例分析,总结了构建气候适应力的弹性景观设计策略.相比较传统的工程类策略,弹性设计策略主张后退式景观建设模式,包括海绵城市建设、绿色屋顶、绿墙打造、生态海岸线加固、给河流以空间等措施.研究结果对沿海城市在应对灾难事件、制订景现适应性策略、探索弹性景观的新技术和新方法等方面具有参考意义.
惠州东平人行天桥是一座跨度为2× 56m的变截面钢箱梁桥,主桥平面呈半椭圆形,采用整体式桥台,桥面设置单悬臂的弧形玻璃雨棚.文章对惠州东平人行天桥的设计与施工展开了论述.天桥结构线型为复杂的空间曲线,跨度相对较大,采用Midas有限元软件对其进行整体分析,计算其应力、变形及结构自振频率等指标,以确保结构的安全性与舒适性.在施工方法上,采用预制管桩群桩基础,通过静压法施工,钢箱梁采用工厂预制,现场节段吊装施工.通过以上施工快捷、环境影响小的方法,能有效加快天桥建设.
皮肤病变复杂多样,在临床医疗中可用激光加热的方法来治疗。目前,皮肤病的激光治疗大多是靠医护人员手工操控激光器来完成,治疗效果和医护人员的个人经验有很大关系,这就使得手工激光治疗的精度不一致并且有可能对正常组织产生较大损伤。因此,有必要对形态各异的皮肤病变进行分类,对不同类型的病变规划相应的激光治疗方法,同时也需要研发一种自动化的激光治疗设备。首先,对常见的皮肤病变按照几何形态进行了分类,并设计了相
规划淮兴泰高铁位于江苏省中部淮安市、扬州市和泰州市,如何将设计速度为350km/h的客运专线铁路引入淮安地区是文章研究的重难点.对此,文章通过分析项目功能定位和引入淮安地区控制因素,并进行方案研究,最终确定了铁路引入淮安地区的推荐方案,并总结了高铁引入地区的研究思路.
为了提高市政道路建设水平,文章从路基和路面两个方面分析了市政道路规划设计要点.研究成果表明,道路横断面设计的影响因素有交通方式、空间感受、市政管线设施等,应根据具体特点将单幅路、双幅路、三幅路、四幅路等进行组合,同时要重视防护加固方式和边坡几何参数的选择;沥青路面结构设计和面层基层材料选择应考虑当地水文地质条件、气候、交通量、道路规划和工程经验等,并利用多层弹性层状体系理论进行验算.研究成果可为市政道路工程规划设计提供一定的理论指导.
交通强国的建设有利于居民出行以及促进社会经济繁荣发展。基于人工智能算法的未来城市交通道路拥堵预测,可以帮助交通决策部门提前进行交通流规划,避免交通拥堵的发生;基于大数据技术的实时城市道路拥堵情况统计,能够动态反映当前交通流拥堵的规律,便于采取增设潮汐车道等措施疏堵,同时能够及时响应因临时修路、交通事故等潜在突发情况造成的交通拥堵。这些对道路交通拥堵预测具有重要的现实意义。本文主要研究未来城市道路拥
在环保理念日益成为当前高速公路服务区的重点建设原则的背景下,服务区作为高速公路各区域段的重要服务设施,因其设置较为密集、使用较为频繁,已成为高速公路管理单位开展节能减排工作的重点区域.由此可见,在服务区的设计过程中,要在将节能减排理念融入其中的同时,重点进行给排水节能方面的设计.鉴于此,文章就服务区设计思路进行讨论,旨在充分体现出环保节能的理念.