基于回放注意力和层次特征提取的三维物体重建算法研究与实现

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:a77115280
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术的快速发展,大量基于深度学习的单视图三维重建方法不断涌现,这些方法在3D打印、自动驾驶、虚拟现实和增强现实等各个领域获得了广泛的应用,实现高质量重建的单视图三维物体重建算法对于图像理解和计算机视觉领域来说有其重要的研究价值和广阔的发展前景。已有的大部分方法难以有效地重建具有复杂拓扑结构的物体形状,导致重建的结果拓扑结构不完整和局部细节缺失。此外,这些方法较多的关注目标物体的整体形状,往往忽略了包含小尺度物体的细节区域,导致重建性能不理想。因此,如何从单视图2D图像中较为精确地重建出具有完整的拓扑结构以及丰富的局部细节的高质量三维形状一直是三维物体重建任务中的挑战性问题。本文针对上述问题研究了基于深度学习框架的单视图三维重建算法,并提出了基于回放注意力和层次特征提取的三维物体重建算法。本文方法可以很好地平衡全局形状和局部细节之间的关系,使重建后的物体在保持完整的全局形状的同时尽可能多地拥有局部细节,从而实现高质量和细节丰富的三维物体重建。本文的主要工作如下:1.复杂的拓扑结构难以重建往往是因为模型的拟合程度不够或者是网络的学习能力不够强。为了提升网络的学习能力并进一步强化网络捕获全局鉴别性特征的能力,本文提出了一种回放注意力机制。与传统注意力机制不同,本文的注意力机制目标是通过自适应地重新校准注意力机制中的权重响应来增加网络对富含信息的特征的敏感性,这增强了学习到的特征表示的可区分性。这样,网络能够进一步提高对具有复杂拓扑结构物体的重建精度。2.为了补充细节区域信息并提高网络对于局部细节的重建能力,本文提出了一种层次特征提取网络,整个网络分为全局特征推理模块和层次特征推理模块两部分。其中,全局特征推理模块保留了原始骨干网络的学习流程,使网络主要关注目标物体的全局鉴别性特征;层次特征推理模块将骨干网络不同层次的特征图拼接起来形成层次特征并进行进一步学习,其主要关注局部细节特征。最后,将全局特征和局部特征进行信息互补,使得网络在学习到全局形状的同时尽可能多地捕获局部细节。3.为了使本文算法能够在网络平台上得到实际应用,本文设计了一个三维物体重建可视化系统,该系统可以实现自适应地满足用户需求,用户可以从系统中任意选择较为合适的三维物体重建算法进行体验。
其他文献
碳纳米管的发现和石墨烯的合成标志着低维维材料正式问世。相比于块状材料,其具有独特的结构特征和优良的物理特性,已经引起研究人员广泛的关注。随着越来越多的二维材料在实验上成功合成,第一性原理计算为二维材料的探索和预测提供了理论基础。其中,Ⅲ-Ⅴ(Ⅵ)族化合物材料性质优异,可以广泛地应用到电子器件、光电探测、太阳能和催化等领域。因此,在设计微纳米光电器件时,探究低维纳米材料的光电性质十分关键。基于密度泛
学位
Ⅲ-Ⅴ族窄带隙半导体GaSb以其优异的光电性能在红外探测和热光伏电池等领域有着广阔的应用前景。然而受本征材料的禁带宽度限制,GaSb半导体的光谱响应范围较小,带隙尽可能低的GaSb可应用于低频波段相关的光学器件中。本文用第一性原理方法实施研究,主要研究了应变及4d过渡族金属(Transition Metal,TM,本文中TM=Ru、Rh、Pd)掺杂对GaSb电子结构和光学性质的影响,通过能带结构和
学位
自20世纪初,金属与电介质相邻界面上的表面等离激元(SPP)引起学者普遍关注。Ebbesen团队于1998发现了金属亚波长孔阵列上出现的异常光学透射(EOT)现象,并用SPP解释该现象的物理机理,此后SPP的研究备受研究者青睐。异常透射除了有较多的应用潜能外,还存在诸多,甚至相互矛盾的物理成因解释,因此亚波长孔阵列出现的异常透射现象成为研究热点。到目前为止,关于促成异常透射现象的物理机制,被广泛认
学位
钠离子电池因与锂离子电池有着相似的工作原理而备受各界关注。作为钠离子电池的重要功能组成部分,正极材料是决定钠离子电池整体性能的关键因素之一。在众多正极材料中,P2型层状锰基氧化物因具有理论比容量大、结构稳定性高和毒性低等优点成为最具应用前景的钠离子电池正极材料之一。然而,在Na+脱出/嵌入过程中,Jahn-Teller效应、多相不可逆转变、电解液分解等问题,导致晶体结构稳定性和电化学性能严重恶化。
学位
从视频估计人体3D运动姿态和形状是计算机视觉和图形领域的一项具有挑战性的任务,准确且时间一致的人体建模对于一些广泛的应用至关重要,包括角色动画、理解人类社会行为和AR/VR界面。从单目视频序列中准确捕捉人体运动仍然具有挑战性,并且捕捉到的人体运动的时间一致性对建模质量有很大的影响。当试图从一系列视频图像中定位人体姿态的3D参数时,由于背景变化、摄像机移动和灯光变化,人体的姿势和形状往往会随着时间的
学位
工程设计和自然科学以及社会经济的很多问题都可以描述为最优化问题,使用高精度求解算法对最优化问题进行求解一直是研究的热点和难点。作为一种群智能优化算法,鲸鱼优化算法具有优良的全局寻优能力,而且相对于经典粒子群优化算法,它具有计算简单、拥有较少的参数等优点,而在众多不同的领域应用较为宽泛。但是,基本鲸鱼优化算法在处理复杂的优化问题时仍然存在收敛速度慢、计算精度低、易陷入局部最优等问题。针对这些问题,本
学位
医学影像分割是医学影像分析的核心任务,随着计算机技术及人工智能的发展与普及,医学影像分割潜在的应用价值受到了广泛的关注,脊柱分割作为医学影像分割中一个重要的方向,在临床实践中,退行性脊柱疾病方面的治疗更多的还是依赖于医生的经验,虽然现有的脊柱分割方法在无偏且数据集数量较大的条件下表现良好,但是在真实条件下,由于影像数据收集难度较大及收集过程中病人个体因素,导致不同脊柱类别样本数量不均衡,进而限制了
学位
西夏文古籍文献作为记载西夏王朝的资料,已成为研究少数民族古籍的重要载体,及时准确的识别并翻译西夏文字,有助于推进西夏学研究具有举足轻重的意义。此外,随着深度学习的蓬勃发展,神经网络具有自动提取文字特征并且识别效率高等优势,逐渐成为了文本识别的重要手段。然而,现有的西夏文古籍文献中存在字体相似度高,识别准确率较低,同时识别模型参数量大的问题。因此,针对上述问题,本文以自制的西夏文数据集为基础,采用深
学位
人脸识别技术的快速发展以及广泛应用给我们带来了极大的便利,但易受假脸攻击的缺点使其安全性受到了严重的威胁。人脸活体检测作为人脸识别的重要前置步骤,保证人脸识别系统不被欺骗,具有重要的研究价值。近年来,基于深度学习的人脸活体检测技术在生物识别技术领域取得了一定的发展,在部分场景下表现出色,但受限于常规卷积网络对人脸固有精细特征提取的瓶颈以及单模态人脸图像输入对环境变化和攻击方式变化敏感,现存方法难以
学位
在我国,道路交通事故时有发生,其中一个重要原因就是疲劳驾驶。所以,准确地进行疲劳检测是非常有必要的。在现有的疲劳检测方法中,利用基于生理参数和车辆运动特征进行的检测普遍存在成本高、实时性差和抗干扰能力低等问题。因此,本文采用一种基于面部特征的方法研究疲劳检测问题,该方法将疲劳检测流程分为人脸检测、疲劳特征提取与识别、疲劳状态判别三个步骤,具体工作如下:首先,优化了MTCNN人脸检测算法。对图像预处
学位