三维人脸重建的多任务学习研究

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:crackerking
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人脸重建技术在计算机视觉领域中是一种非常重要的研究方向,在3D游戏,虚拟现实,和元宇宙等方向有非常广泛的应用前景。传统的三维人脸重建算法都是基于3DMM模型的改进,通常估计先验模型的形状,纹理,表情参数获取三维人脸结构模型,对面部细节和高频特征的三维表达存在缺失,重建出的模型都趋于平均模型,细节特征不明显。为了重建出模型具有明显的细节特征,无模型的方法成为了重点的研究方向,但是现有的无模型重建方法精度不足,无法获取到更丰富的人脸特征信息,尤其旋转到侧脸时,模型的眼睛和嘴巴特征信息会丢失更加严重。原因是无模型方法没有针对每个任务预测子网络结构进行更好的设计,以简单的编码器-解码器结构来完成对反照率和深度的重建,对输入的二维人脸图像的特征提取能力不足。本文针对这些问题,提出无模型下的多任务三维人脸重建方案,即通过一张图片获取图像中隐藏的信息,同时学习反照率,深度,光照和视角的多任务信息,重建出精细化形状纹理的三维结构,用来解决在自然场景下的三维人脸重建问题。本文的方法可以重建出更好的纹理和轮廓信息的三维人脸,从而实现高保真的三维人脸重建,本文的主要工作如下:1.针对在三维重建过程中缺乏上下文信息的问题,提出了一种低秩张量的重构的方法用于三维人脸重建。引入CP分解理论,把低秩张量构建成高秩上下文特征,以便得到空间和通道等多维的信息。同时引入三个损失函数进行约束,提升三维重建人脸算法的精度。2.在无约束条件下,在自然场景重建出的模型可以趋近于原始图像,而模型旋转成侧脸时,由于睫毛,眼球色差大而产生眼睛部位突出,鼻头部分塌陷的问题,本文提出基于无监督多任务学习的渐进式跨阶段三维人脸重建的方法,采用了一个多任务渐进式跨阶段网络来学习有效的反照率图,结合反照率图来重建具有丰富细节和合理形状的3D人脸。同时引入特征一致性损失,提升算法的稳定性,并在一定程度上防止了视角变化和噪声干扰。3.在网络预处理过程中,根据CUDA线程结构,存储结构,对图像预处理与卷积操作进行处理,从而提高效率。
其他文献
著名作曲家崔炳元作曲的歌剧《貂蝉》,是甘肃省重点推出的原创歌剧剧目,于2014年4月26日在兰州大剧院成功上演。全剧包含序幕和尾声共六幕,整部作品融合了秦腔、碗碗腔等具有地域特色的艺术元素,将中国民族音乐特色表现的恰到好处。本文以歌剧《貂蝉》中两首咏叹调的音乐特征与演唱探究为题,所选择的这两首唱段分别为此部歌剧中第二幕第三场和第四幕第二场—《貂蝉答应》和《我回来了》,分为三个部分对歌剧《貂蝉》中的
学位
琵琶与乐队《春舞塞上》是雷兴明教授于2017年4月开始创作,2018年5月完成初稿创作,并于2020年修改完成定稿的琵琶协奏曲,其中包括管弦乐队协奏、双排键协奏和钢琴协奏三个协奏版本。因管弦乐队协奏版本相较于钢琴协奏版本和双排键协奏版本的音响效果更加辉煌宏达,所以论文以管弦乐队协奏版本为研究对象,将作品的曲式结构、演奏技法及风格体现三个方面进行较细致的分析,从而探究其丰富的艺术表现力。论文共分为四
学位
羌族,从古羌发展而来,是中国西部的一个古老民族,它对中华民族的形成以及中国的历史发展都有着正面且积极的意义。经过几千年的历史沉淀,羌族人民在生活和生产的过程中创造了大量的形式多样、曲风多变的羌族民歌曲调。现在,羌族人民仍保留着传唱羌族民歌的习俗,特别是在重大节日庆典以及婚丧嫁娶等仪式中,人们会相聚在一起,以歌交友,以曲诉情。羌族的婚俗仪式极具本民族特色,在这一特色民俗中,自然少不了婚俗歌这一常用艺
学位
非虚构写作《远方的马庄》以笔者2019年9月—2020年9月一年的支教服务经历为蓝本,聚焦以宁夏固原市头营镇马庄小学为原型的贫困地区义务教育阶段小学教育现状,通过整理现有留存资料,回顾支教期间教学、生活等方方面面的体悟,以及后期采用田野调查法继续补充、深化细节,欲借此展示国家精准扶贫政策下,贫困地区义务教育所取得的成效和面临的问题,为教育服务乡村振兴战略提供一定的思考和启发。文章主体部分为专业作品
学位
花儿是流行于西北地区的一种土生土长的民歌,历史悠久,内容丰富,曲调繁多。其中,宁夏花儿又称“山花儿”已被诸多专家和花儿爱好者对其曲调、歌词、音律等做了多方面的研究。宁夏山花儿所赢得的赞誉和日益扩展的影响,正是它强大生命力的标志,在西北花儿中有着举足轻重的地位。李凤莲便是一位耕耘于宁夏花儿演唱传承的代表性传承人,她被人们称为“宁夏花儿皇后”。李凤莲自幼学习花儿,并在演唱和实践中逐渐形成自己的演唱风格
学位
古筝,是经久不衰、流传千年于中国大地上的民族之音。历史辗转变迁,古筝艺术日臻完善,它已逐渐从纯粹的乐器演变为兼具美学风格与审美意蕴的符号象征。李萌多声弦制壮族筝曲是基于少数民族艺术体系中表达特定民族精神面貌、展现异域演奏艺术魅力的独特音乐形式,它接续发展了传统民族器乐的底蕴和精华,以变化多端、风格迥异的乐风丰富了古筝艺术的表现力和感染力。但目前,国内对李萌壮族多声筝曲的研究寥寥无几,对于李萌集演奏
学位
“两弹一星”作为中国发展进程中的标志性历史事件,已经通过各类媒介活动存在于国人的教育认知和时代记忆之中。在“两弹一星”事件经历“历史事件-媒介仪式-社会遗忘-记忆再现”的社会化过程中,作为核武器研制基地的青海原子城,至今仍基本完整地保留上世纪存在的各类实体建筑,新闻报道、出版图书和影视资料也不断地出现在公共视野中,由此成为一个具有多元空间特性的记忆之场.研究从社会记忆研究视角出发,以皮埃尔·诺拉的
学位
月球撞击盆地是由一次或多次大型撞击事件形成,反映了月球外动力地质作用演化的过程;晚雨海纪时期,盆地内被玄武岩充填形成月海,反映了月球内动力地质作用演化的过程。因此,撞击盆地的形成是月球古月宙时期地质演化的一个非常重要的过程,在月球地层、构造、月壳结构中占主导地位。本文利用新一轮月球探测的获取高分辨率影像、地形以及月壳厚度数据等数据和已获得的研究成果,以多源数据融合的方式,依据盆地退化的程度对古月宙
学位
微信作为当前最大的社交应用平台,其在社交媒体中占有重要地位。随着新媒体技术不断发展,各地的政务不断向互联网技术延伸,地方政府将微信作为传达政务的重要途径。各级党政部门开通政务微信公众号,有利于促进党政信息公开,拓宽人民群众联系政府和参政议政的渠道,有利于党政信息资源的开发利用和增值,提升群众满意度和获得感,实现全社会共享。但从近几年的发展情况来看,政务微信的建设和运营逐渐暴露出许多深层次的问题。多
学位
在新媒体时代,人们的出行决策时刻受到社交媒体中口碑信息的影响,旅游目的地品牌推广的主要途径也逐渐从非社交媒体转变到微博、微信和抖音等社交媒体上。旅游目的地如何通过社交媒体平台来创建旅游品牌,并与游客建立起长久而稳定的品牌关系,是当前旅游发展重要的问题。本论文主要对宁夏旅游目的地品牌的社交媒体传播现状,以及优劣势、机遇与不利因素进行分析,提出提升宁夏旅游目的地品牌传播水平的思考和建议。笔者在梳理宁夏
学位