三维人脸表征及跨模态人脸动画研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:huangzhongyan22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,关于三维人脸的研究逐渐得到了研究人员们的关注。其中,三维人脸的表征学习是指利用模型得到人脸信息在计算机中的语义表征,从而驱动下游丰富的三维任务,所以三维人脸表征学习具有重要的意义。由于人脸中包含非线性的形变特征,传统的方法基于线性子空间或者高阶张量来刻画人脸表征,由于线性的局限性,得到的表征空间无法刻画极度形变的情况,造成表征能力和扩展性较差。而基于深度学习的三维重建任务可以得到表示能力更强的结果,但是仍然存在尺度信息无法有效捕捉的问题。本文首先针对高精度三维人脸重建,首次关注到三维人脸上尺度信息对于性能的影响,提出多列图卷积结构,利用不同大小的感受野进行多尺度特征提取。基于多列图卷积结构,本文进一步提出多列图卷积网络的三维模型(MGCN),为了融合不同尺度的信息,该网络引入了自适应特征选择模块,并结合自注意力机制来捕捉空间中的非局部关系,从而提高隐层空间的表征能力。三维人脸表征可以驱动很多下游任务,其中三维人脸动画具有非常高的应用价值,比如落地到电影、虚拟现实等行业中。针对三维人脸动画,本文提出了基于三维人脸表征引导的跨模态框架(GDPnet),在引入几何信息的同时加快网络收敛的速度,并且体现出强大的鲁棒性。在引导的层面本文提供了两种约束函数,分别是Huber和HSIC(希尔伯特-施密特独立性准则),从不同的视角出发引导隐空间的训练过程。丰富的实验证明本文提出方法的有效性,在三维人脸重建任务中体现出具有竞争力的结果,并可以生成极度形变的人脸实例。在三维人脸动画中,表征引导的方式极大的加速了训练过程,提高了生成动画的鲁棒性,并且可以泛化到真实采集的人脸数据中。
其他文献
图像转换在现实生活中有广泛的应用场景,在图像转换任务中,素描图像到真实图像的转换是一类特殊任务,由于素描图像只包含单一色彩,与真实图像的像素差异很大,因此传统方法很难达到理想的效果。随着深度学习的不断发展,这一任务成为了当前研究的热点之一。随着生成对抗网络(GAN)的提出,素描图像到真实图像转换这一任务的性能得到大幅提升,出现了很多基于GAN的转换方法及模型,但是这些方法都存在一些不足:(1)这些
学位
内存泄漏是广泛存在于C或C++程序中的一种内存漏洞,原因在于C或C++语言依赖于显式的内存管理,需要手动释放不再使用的内存对象,容易造成内存泄漏。内存泄漏的积累会导致程序运行减慢甚至系统崩溃。当前多数工作聚焦于内存泄漏的自动化检测,而对内存泄漏的修复工作主要依靠程序开发人员手工修复,依赖于程序开发人员的专业知识和行业经验。然而,人工修复错误是一个困难、耗时并且非常容易出错的过程,如何自动化地修复内
学位
手语是聋人与听人、聋人之间交流的主要途径。手语词语主要是由手臂、手腕、手指的动作和朝向、面部表情、身体姿势等共同表达。手语视频的研究具有重要实际应用和科学研究价值。手语识别的目的是将手语视频识别为对应文本词或者文本语句,这要求手语识别模型可以准确提取手语视频的特征信息,消除手语视频与自然语言之间的鸿沟。目前手语识别面临两个主要问题:第一,从手语视频数据本身考虑,由于手语视频含有过多的冗余信息,例如
学位
在图数据管理领域,最短路径查询是一类非常重要的问题,但在实际的应用场景中,用户往往会设置多样化的查询条件,并在这些查询条件的限制下进行最短路径查询。本文研究了在某些特定的限制条件下的最短路径查询问题,一种是给定一个节点集合,返回得到的具有最小权重值的路径中的所有节点,必须属于该节点集合,因此该问题可以抽象为基于给定子图的最短路径查询问题;另一种是图的权重向量具有多个维度,给定一个线性计算函数,将多
学位
肝性脑病(Hepatic encephalopathy,HE)是一种严重肝硬化引起的认知功能异常并发症,一年内死亡率很高。轻微肝性脑病(Mild hepatic encephalopathy,MHE)转换为肝性脑病的概率非常高,因此准确地从无肝性脑病的肝硬化(no Hepatic encephalopathy,no HE)患者中准确识别轻微肝性脑病,对降低肝性脑病死亡率具有重要意义。过去的研究中,
学位
在移动通信技术不断升级的背景下,虚拟现实和智能手环等智能终端逐渐走进了人们的日常生活。由于架构的集中性,移动网络已经无法承载海量数据的传输业务。边缘缓存技术被业界普遍认为是一种有效的解决方案,它通过在网络的边缘存储和转发部分流行内容来减少网内和网间的流量,在优化网络资源的同时缩短了请求的响应时延。然而,相关研究工作主要集中在基站,却忽略了计算和存储能力均日益增长的移动终端在边缘缓存架构中的潜力。移
学位
随着信息技术和互联网的发展,人们逐渐从信息匮乏的时代走入了信息过载的时代。如何在大量信息中发现有用的并让其为人类更好的服务是一个问题。推荐系统就是解决这一问题的重要工具,其任务就是联系用户和信息,使得两者有更好的交互。但是由于人们的隐私安全性意识逐渐增强,很多情况下用户的身份信息是不能够公开的,因此作为专为匿名用户打造的会话推荐系统成为推荐系统领域的热点。它旨在通过一系列匿名会话更有效地预测用户的
学位
实际应用中的数据往往都有多种形式,比如不同的模态、来源和特征,多视图的信息分别用来描述某个事物不同的方面,如果只使用一个视图的信息,分析将缺乏全面性,如果可以同时利用多个视图的信息,将会有效的加强数据分析的效果。多视图聚类已经成为了计算机视觉和机器学习领域的一个重要研究课题,它的目标是得到一个多视图一致的划分结果。但是目前的多视图数据仍然存在两个主要挑战:一方面,数据的多个视图之间有复杂的非线性关
学位
随着无人机飞控技术和计算机视觉技术的飞速发展,两者结合的无人机视觉技术逐渐成为新的研究热点。如今无人机视觉技术已经广泛应用于野生动物保护、智慧城市管理、自然灾害检测以及交通流量监控等领域。在野生动物保护领域,无人机视觉平台可以提供远大于地面摄像头的监控范围,减少了人力物力;在自然灾害检测领域,无人机视觉平台移动方便,可以提供自然灾害的最新讯息,可以及时发现隐患并提供预警。无人机目标计数旨在得出图像
学位
推特和新浪微博等社会媒体平台的繁荣,产生了大量有噪声的短文本。社交媒体话题检测旨在为海量的社会媒体数据建模潜在的语义结构,其揭示的主题信息可用于短文本分类、关键词生成、篇章关系识别等下游应用。目前,面向社会媒体的短文本话题检测方法大致分为基于跨文档共现模式、基于文本语义信息以及整合内容和社交上下文三类。然而,已有方法均忽略社交网络的异构性和多元性以及大范围的用户邻域上下文对话题检测的影响。本文从编
学位