基于生成对抗网络的多视图生成方法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:qian7122011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多视图生成(Multi-view Generation)是指通过给定物体的某个单视图来生成物体其他视图,是3D物体重构和检索、机器抓取等应用中的一个关键技术,成为近年来计算机视觉和机器人学等领域的一个研究热点。但当前的多视图图像生成方法还存在对三维模型库的依赖大,受限于特定类别的生成,细节保留度低以及泛化能力差等问题。针对这些问题,本文从本征特征提取和特征空间分布的角度研究了基于生成对抗网络的多视图生成方法,利用对比学习训练适用于多视图生成场景的特征提取器,提取物体在3D空间中的本征信息,同时使特征均匀分布在特征空间中来获取全空间的完整特征表示,建立了以生成对抗网络为基础的多视图生成模型,实现了基于视角不变和均匀分布特征的多视图生成,有效提升了生成视图图像的质量,在与已有方法的对比中取得了较好的实验效果。本文的主要研究内容和创新点如下:(1)提出一种面向多视图生成的视角无关特征提取方法。通过提取视图的视角无关特征来获取各视图之间的共享3D信息,有助于生成模型从输入视图中获取最大参考信息进行视角转换生成。为获取视角无关特征,本文基于对比学习思想,将同一物体的不同视图视为正样本,通过使正样本的表征之间互信息最大化,使其在特征空间中相互靠近,达到提取视图间共有信息的目的。实验表明利用提出方法提取的本征特征更有利于提升生成视图的质量。(2)提出一种全空间特征学习方法。基于编码器-解码器结构的图像到图像转换方法通常受训练样本数量的限制而只能学习到某个子空间的特征,当在处理网络未见过的样例时,因未见样例的特征表示被编码到子空间之外而出现生成效果不佳的问题。针对这一问题,本文基于对比学习思想,将不同物体的不同视图视为负样本,施加约束使其在特征空间中相互远离且尽可能地均匀分布,达到实例区分的目的,同时实现对特征空间的完整探索,提高模型泛化能力。特征分布的可视化实验和消融实验验证了本方法的有效性。(3)提出一种基于视角不变和均匀分布特征的多视图生成方法。多视图生成任务可看成以目标视角为条件的图像到图像生成,本文基于条件生成对抗网络,采用视角无关特征提取方法和全空间特征学习方法实现对输入视图的本征信息提取,并获取完整的特征表示。接着结合目标视角标签生成经过视角转换后的视图,采用对抗训练的生成模块则在保留原视图的身份信息的基础上预测原视图中被遮挡部分的内容。在人脸和椅子的多视图生成实验中,本方法的有效性得到了验证。
其他文献
随着我国城镇化进程进入“下半场”,精准投放公共交通资源以匹配城市用地空间增长将成为实现高质量发展的一条重要路径。伦敦长期以来将公共交通可达性水平(PTALs)技术贯穿于城市空间与交通发展中,系统建立了涵盖城市空间和交通规划及监测、民众查询等功能的应用体系,搭建了交通与土地利用协调发展的桥梁,共同支撑城市健康发展。本文首先总结了伦敦PTALs技术的发展经验;其次,基于伦敦经验,分析了我国城市引入该技
T型三电平并网逆变器直流侧电容中性点电压(NP-V)的漂移直接影响并网性能;逆变器并网系统参数的时变及未建模直接影响传统模型预测控制(MPC)精度。为此,本文通过构造不影响NP-V的虚拟中矢量、虚拟补充矢量参与MPC控制矢量集,以克服传统MPC在调制比较高时NP-V不平衡的缺点;建立电流跟踪单目标代价函数,无需整定权重因子;根据直流母线电容状态优选小矢量,进一步控制NP-V平衡;提出一种扩张状态观
自2017年版普通高中数学课程标准颁布以来,核心素养的研究得到了广泛关注。变式教学是具有中国特色的教学方法,关于变式教学的研究较为丰富,在核心素养研究的大背景下开展变式教学是具有重要意义的。变式教学是通过对问题的非本质属性的变化来凸显其本质属性的重要性,是教师帮助学生探求数学本质的重要方式。基于核心素养的高中数学变式教学是以数学问题为载体,依托数学学科核心素养三个水平的评价标准,以课堂情境导入的变
营运资金作为满足企业日常经营而需要的流动资金,由于具有流动性强、盈利性好的特点,对于实现企业价值最大化的目标具有重要作用,自然成为企业资金管理的重要环节。合理、有效地营运资金管理,能够保证企业在原材料采购、产品生产与销售、税收缴纳、职工工资发放等环节的顺畅进行。但由于营运资金在数额和获利能力等方面无法与长期资金相比。企业管理层也就容易忽视对营运资金的管理,从而产生无法偿还到期债务、产品库存积压、应
<正>推理与证明中的问题蕴含着许多数学思想,解题具有独特的技巧与方法,因此推理与证明是竞赛中重点考查的内容。实际上竞赛中的每道试题都要推理,证明涉及的范围也比较广,贯穿整个高中数学的内容。而复数在高中数学中自成体系,既有一定的独立性,又是解决其它问题的强有力的工具。在竞赛中主要考察复数的有关概念、复数的代数形式、三角形式及其运算,在复数集中解方程等问题,且复数经常与其他知识进行交汇,能命制出很多精
期刊
当前传统企业流程体系框架,不同部门行政管理、不同项目、不同产品和服务、供应链、信息系统很难实现统一的、标准化的构型管理流程,企业业务流程僵化且有很多限制。企业各项功能活动缺乏关联,需求传递混乱且低效,导致企业耗费大量精力来干预纠正各类问题,以持续满足需求。本文提出一种基于统一构型管理流程的企业流程体系,搭建以企业管理运行层级和实物产品运行层级为框架的企业流程体系,建立客户需求、产品需求、管理流程需
【目的】研究淹水胁迫下不同繁育方式桑树的叶片光合生理参数、渗透调节物质和保护酶系统的动态变化,揭示不同繁育方式桑树对水淹逆境的响应策略及差异,为桑树在消落带逆境的生态修复应用提供理论基础。【方法】选择嫁接、扦插繁殖的蜀果(SG)和澳玉(AY)桑苗,通过套盆模拟水淹胁迫(ys),在0、3、7、12、18天测定桑树叶片的光合参数、叶绿素含量、渗透调节物质含量(可溶性蛋白质、可溶性糖、脯氨酸、丙二醛)及
RV减速器是我国工业强基工程重点关注的核心基础零部件,明确其关键传动部件摆线针轮传动机构的接触机理,对提升国产RV减速器的设计及制造质量具有重要的理论意义和工程实用价值。本文以摆线针轮传动机构为研究对象,构建了系统承载接触分析模型和热润滑分析模型,利用数值分析方法研究了机构动态结合面在润滑状态下的时变非线性接触特性,揭示了设计参数、工况参数对系统接触特性的影响规律,具体内容如下:(1)综合考虑齿廓
2022年10月16日,中国共产党第二十次全国代表大会在北京召开。习近平总书记代表第十九届中央委员会向大会作了题为《高举中国特色社会主义伟大旗帜为全面建设社会主义现代化国家而团结奋斗》的报告,全面总结了过去五年工作和新时代十年的伟大变革,科学谋划了未来五年乃至更长时期党和国家事业发展的目标任务和大政方针,为全党和全国人民指明了前进的方向。
期刊
学位