基于单张图片的人脸三维重建及其美学评价

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zhang11289
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸目标的三维重建技术一直是计算机视觉相关研究中的核心的部分之一,也是目前学术界关注的焦点。因为其广泛的应用前景以及其中蕴含的巨大商业价值而被广泛关注,例如医疗、教育、影视和游戏等行业中。当前对人脸进行三维重建的方法主要依赖于高昂价格的高精度设备进行采集,流程消耗大量的人力物力和时间成本。而基于单张照片进行人脸三维重建得益于近年来深度学习相关算法的软硬件发展逐渐取得了较大的进展。本文研究了现有的单张照片进行人脸重建的算法,结合了卷积神经网络,提出了改进过后的端到端人脸三维重建方法和对三维人脸模型进行审美评价的网络模型。本文的重要工作如下:首先,本文立足于基于单张人脸而进行三维重建的算法研究,提出改进过的端到端的网络结构在现有数据集上得到了良好的效果。方法绕过了传统单张照片进行三维重建工作中的3DMM模型拟合的办法,更加直接的通过三维体素的表达方式来进行人脸的三维表示。方法先用端到端沙漏网络结构来对人脸图片中的关键点进行提取,随后网络接收单张人脸照片和对应图片的已经标注准备的Heatmaps作为输入,端到端生成对应人脸的三维体素表示,改进过后的网络取得的更好的效果。随后,通过研究计算机审美的发展,研究了几种常见的传统计算机进行审美评价方法和基于深度学习审美方法。通过借鉴对二维图像进行审美方法,提出一个端到端的对三维人脸体素模型进行审美评价的网络,因为缺乏相关三维人脸相关数据集进行训练,本文通过对一个二维人脸的美学评分数据库进行三维重建增强,最终在强化过后的数据集上进行训练并进行测试检验,取得了不错的效果。最后,将本文两个网络结合组成端到端的对单张人脸图像进行三维重建并输出审美评价分布的网络,举例说了对于任何不受约束的人脸照片的输出效果并对多张图片或是视频流信息中多张人脸进行处理的方法进行说明,证实了网络的可用性。
其他文献
在认知无线电的背景下,NC-OFDM通信系统成为了最具有发展前景的通信体制,它不仅具有传统OFDM通信系统的优点,还具有整合非连续频谱资源进行数据传输的特点,这也使其成为一种有效的抗干扰手段。本文重点研究了NC-OFDM系统中的同步技术,为了在干扰环境中部分子带可用时仍能够进行正常的数据传输,提出了一种基于非连续ZC序列的同步算法,并基于NI-USRP平台采用Lab VIEW FPGA编程方式进行
随着无人机的广泛应用,在复杂的环境中作业已经成为一种趋势,导航是无人机作业的基础。然而,单一组合导航的方式已经不能满足无人机在复杂环境中自主、可靠、高精度的导航。为了提高无人机在复杂环境中导航的精确性,本文设计一种基于联邦卡尔曼滤波的多传感器融合导航系统。同时为了提高无人机在复杂环境中导航的可靠性,本文设计了基于传感器故障检测的容错导航。本文的主要研究内容如下:(1)针对在复杂环境中传感器干扰问题
精神分裂症(Schizophrenia,SCZ),是一种复杂的精神疾病,全球发病率约1%,核心症状表现为情感、思维和行为的障碍,其致残致死率高,给患者自身、家庭及社会均造成了严重不良影响。然而,目前对精神分裂症的诊断和治疗主要依靠临床医师通过患者的体征和症状进行主观判断,缺乏生物标记物来进行客观评估,这严重阻碍了精神分裂症的预防和临床诊疗。因此,研究SCZ的发病机制和寻找客观的生物学标记对于诊断及
目标跟踪是机器视觉研究领域的一个分支,具有十分重要的应用价值。目标跟踪算法能够根据已有的目标初始信息,在视频中对目标位置进行预测,对精度和速度有着十分严苛的要求。但是在实际的算法研究中,精度高与速度快这两种属性往往不能够同时满足。基于此,需要兼顾算法效率与实施平台结构等特性,对目标跟踪算法的性能进行权衡。本文旨在研究基于最小输出均方误差和(MOSSE)相关滤波目标跟踪算法的优化,以及其目标跟踪系统
在现代应用如神经网络、图像处理和信号处理中存在着大量的矩阵运算,这些应用给社会生活带来了极大的便利的同时,也对现代设备带来了挑战。在某些实时处理应用中,需要在提升运算速度的同时平衡面积开销和功耗,因此,余数系统(Residue Number Systems,RNS)作为一个高并行度的数值表征系统,可以在这些系统中用于加快矩阵乘法的运算速度。而在移动设备等对面积和功耗比较敏感,对运算时间和精度要求不
旅客登机桥的应用提高了旅客上下飞机的效率和服务体验,在全世界各大机场已经成为了不可或缺的部分。目前登机桥对接舱门的过程是由专业人员手动操作完成的,人工操作不但耗费较大的人力成本而且不易于统一管理。因此登机桥自动对接飞机舱门已经成为智慧机场的发展趋势之一。为了实现登机桥的自动对接飞机舱门,本文提出了一种基于视觉的登机桥自动对接飞机舱门的方法。本文的主要内容和贡献如下:(1)针对飞机舱门的检测与定位问
合成孔径雷达(SAR)在地质研究、环境监控、气象预报、灾情预警、资源探测和军事侦察等领域得到广泛应用,成为军事目标侦察的主要装备,机载SAR在执行侦察任务过程中,部件故障、参数错误、环境噪声等都可能导致其侦察任务失效。因此,如何有效提高SAR任务失效成因推理的实时性和准确性对于系统快速排除故障、提高任务成功率具有重大的研究价值。本课题以某型机载SAR装备为研究对象,基于SAR在不同地形、不同参数、
主动电场的水下探测方法最初来自弱电鱼,是一种新生的水下探测技术,研究人员希望对当前水下探测方法做一些补充手段。本文基于水下主动电场探测原理,主要对水下物体成像与水下物体缺陷检测两个方面进行基础研究,一方面是从主动电场成像出发,设计阵列以及相应的成像算法,通过实验来观察成像的效果;另一方面从目标物体的转折频率出发,将转折频率运用到水下缺陷检测工作中,分析转折频率与缺陷之间的关系。综上,本文的内容主要
从人们第一次提出云计算的概念,距离今天已经有十几年的时间了。在这十几年间,云计算技术获得了飞快的发展以及巨大的变化,越来越多的云平台被投入使用。但随着云平台中虚拟机集群规模的不断扩大,平台运维人员的工作量也在不断增加。面对数量成百上千的虚拟机集群,传统的人工操作和运维方式已经不再适合,传统方式带给工作人员的只有枯燥重复的工作,极易在过程中出现人为错误,而且耗费大量时间。本文主要针对于云平台中Win
随着计算机视觉技术的发展进步,基于图像的车牌检测识别方法在生活中得到了广泛应用,如自动停车场、小区门禁、高速路口等。我国汽车车牌种类繁多、数目庞大,在不同场景下产生了各类复合车牌,如双层车牌、港澳通行车牌、使馆车牌等等。针对上述场景,本文设计了基于深度学习的端对端车牌检测识别算法,研究内容主要分为以下部分:(1)车牌检测识别算法架构设计。通过对车牌场景分析,设计了车牌检测、文本检测、文本识别三阶段