采用特征金字塔网络的三维重建技术研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:wintry5
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从图像中进行三维重建一直以来都是一个经典的计算机视觉问题,基于深度像机的三维重建和传统的三维重建都有其优劣势,基于深度相机的三维重建在有遮挡和阴影的情况下重建效果较差,且难以应用在实时场景的三维重建中;传统的三维重建由于在非朗伯体曲面上会受到弱纹理,镜面反射等因素的影响,结果往往也不是很理想。近年来随着深度学习的迅速发展,利用深度学习进行三维重建的研究得到了越来越多人的关注,多视图立体(Multi-view Stereo,MVS)在最近几十年来也已经取得了巨大的成功,并广泛用于各种应用中,例如自动驾驶、机器人导航、遥感和可移动文物等,在创建智慧城市、VR旅游、古建筑遗产保护和机器导航等方面也有着不可忽视的理论研究意义和不可估量的应用价值。本文针对多视图立体(MVS)重建效果整体性不太理想的问题,对多视图立体重建流程中的特征提取模块和代价体正则化模块进行研究,首先利用特征金字塔网络对输入的源图像和参考图像进行深度特征提取,在每一级特征提取模块中均加入注意力层,以捕获深度推理任务的远程依赖关系;然后通过可微分单应性变换构建参考视锥平面的特征量,以用于进行代价体的构建;最后使用多层U-Net网络体系架构对代价体进行正则化操作,通过回归操作并融合参考图像的边缘信息以生成最终的细化深度图。测试是在DTU(Technical University of Denmark)数据集上进行,相较于MVSNet*方法,本文的整体性、准确性指标和完整性指标分别提高了2.9%、5.4%和0.4%,实验结果证明本文提出的网络架构在整体性指标上得到了以MVSNet为止目前最优的结果,完整性和准确性指标均得到较大提升,还得到了更优的3D重建效果图,以此证明了本文方法的有效性。(1)网络以经典的MVSNet模型框架为基础,提出一种结合注意力机制的特征金字塔网络结构用于特征提取模块。该算法同时使用了图像中低层特征丰富的空间位置信息和顶层特征强烈的语义信息,然后再进行横向链接,并通过融合这些不同层次的特征获得了预测结果,预测结果是在每个融合后的特征层上分别实现的,然后在每层预测后均加入注意力层以进行深度推理。(2)在代价体正则化模块,提出一种多层U-Net(即MU-Net)网络,对代价体进行降采样操作,并同时提取不同尺度的上下文信息和邻近像素信息以便于对代价体进行过滤,通过回归操作再同时结合参考图像的边缘信息以生成最终的细化估计深度图。(3)Blended MVS数据集和自采数据集上的可视化结果证明了本文网络的泛化能力。
其他文献
野生菌作为一种常见的食材,因为其富含多种微量元素,能够提升人的免疫力,所以深受人们喜爱。但是,近年来国内频繁出现野生菌中毒事件,究其原因,主要是对于普通大众而言,不具备鉴别野生菌种类的专业知识,容易将有毒野生菌误认为可食用野生菌,从而导致误食有毒野生菌而中毒。目前现有的野生菌识别分类方法普适性较低,不利于推广使用。因此,本文拟开发一种野生菌识别程序,利用深度学习技术辅助人们鉴别野生菌的种类,从而为
学位
脊椎的图像分割、特征点检测等技术可有效提升手术中的脊椎配准、脊椎重建的精度,从而降低脊椎手术失误率。然而现代临床中的脊椎图像分割与特征点标定的工作往往依靠医师手工完成,传统手动操作技术虽然很大程度为脊椎诊疗提供了便利,但其中也不乏操作过程繁琐费时、需要医师经验丰富操作、结果受主观因素影响大等多种限制。为提高诊疗效率,提高脊椎手术安全系数,本文致力于脊椎磁共振(magnetic resonance,
学位
随着5G时代的来临,运用于物联网场景的毫米波技术也要跟随5G发展的脚步逐渐成熟并加以运用。耦合器件的性能与物联网的整体微波通信体系是否优秀息息相关,运用于5G频段的毫米波宽带耦合器有十分重要的研究意义。集成基片间隙波导(Integrated substrate gap waveguide,ISGW)和封装型集成基片间隙波导(Package Integrated substrate gap wave
学位
随着计算机科学中计算机视觉领域的发展,人们对于图像质量的要求越来越高,不管是野外的夜晚还是室内弱光环境,在曝光不足的场景中采集到的图像或者视频往往因为亮度和对比度的不同难以让人区分出图像的细节,同时低光环境中所拍摄的图像往往带有大量的噪声,得到的数据不能满足人们对其的期望,也不能够应用于高级视觉任务的需要,因此,我们更需要一种有效的图像增强算法来满足高级视觉任务的需要。低照度图像增强技术是通过对数
学位
中国是一个能源分布不均匀、人均资源匮乏的国家,大力发展可再生能源是保证国家能源安全和稳定的必由之路。风力发电、光伏发电等清洁能源发电过程无污染,而且不会出现资源耗尽的问题,因此具备了火电所不能相比的优点,但可再生能源由于出力随机性和波动性的特点,会给需要持续且稳定供电的负荷带来较大影响,这些缺点限制了风电、光电的使用场景和使用方式,因此如何优化、协调、控制不同能源之间的出力配比是当前面对的一大技术
学位
大规模并行处理和列式存储将SQL的查询速度从小时提升到了分钟,但是这远远满足不了交互式分析的实时性需求。Apache Kylin是基于空间换时间思想的分布式联机分析处理。Kylin能够为超大规模的数据集提供多维分析能力和亚秒级的标准SQL查询。但是Kylin的维度增加会带来多维立方体维度爆炸的问题,同时给磁盘和网络传输带来巨大压力。为解决多维立方体构建维度爆炸的问题,本文进行了如下工作:1.首先提
学位
随着智能车辆行业与车辆应用的发展,车辆对感知,计算与通信的需求不断提高。移动边缘计算与车联网进行融合的车载边缘计算架构,通过部署路侧单元,边缘计算设备以及云服务器等计算资源,将网络下沉至车辆终端,能够有效解决车辆自身计算能力不足,通信与移动性管理的问题。虚拟化技术是边缘计算的支撑技术,能够有效对任务进行分发管理,而容器技术作为虚拟化技术的最新进展,依托其轻量化、隔离性、灵活的生命周期管理特点能大大
学位
本文首先介绍了传统的一阶隐马尔科夫模型及其相关算法,它作为一种具有双重随机过程的统计模型,兼具稳定的概率统计基础和强有力的数学结构,已被普遍应用在语音识别系统、状态预测、金融行业数据分析等领域。但鉴于传统的一阶隐马尔科夫模型难以表示更远状态距离间的依赖关系,也许会忽略很多有效的统计共性,所以本文提出了一个三阶隐马尔科夫模型的预测方法。其次,本文对已有的Baum-Welch算法和Viterbi算法进
学位
乳腺癌已经成为女性癌症发病率之首,在罹患乳腺癌的早期发现并加以治疗,可以显著降低死亡率。超声因其具有无创性、无辐射性、穿透深度、检测费用相对便宜等优势,成为乳腺癌的首选检测方法。而传统超声检测设备由于其价格昂贵,并且设备体积庞大,运输困难,因此只能在固定的地方使用,应用场景受限,并且只能简单地生成被测部位的图像,后续的病情还需要专业医生的诊断,不便于偏远、贫困地区使用。超声检测根据其诊断方式不同又
学位
通讯信号的调制识别技术,指的是接收端通过分析所接受到的通讯信号,进而确定出该通信使用的调制方法。在通讯领域认知无线电方向,调制识别技术一直都是一个较热门的研究方向。当今快速发展的无线电通信复合调制识别技术涉及到国防安全军事和民用领域安全通信系统的正常运行,具有非常重要的作用。传统的调制识别主要采用特征提取与模式分类相结合的方法。在无线通信环境条件日趋复杂化的今天,通讯调制手段也日趋多样化,上述原因
学位