【摘 要】
:
三维重建是指对物体或场景建立适合计算机表示和处理的数学模型的过程。无论是传统的数字媒体影视化制作、文物修复与保护、医学图像处理,还是近几年来迅速发展的人机交互、增强现实、虚拟现实等领域,三维重建都发挥着重要的作用。然而,受限于扫描设备、扫描对象特征信息等因素,基于深度相机的实时三维重建在图像数据获取、图像特征匹配和相机位姿估计过程中还存在着较多问题,影响着重建的鲁棒性和模型的精度。本文对基于深度相
论文部分内容阅读
三维重建是指对物体或场景建立适合计算机表示和处理的数学模型的过程。无论是传统的数字媒体影视化制作、文物修复与保护、医学图像处理,还是近几年来迅速发展的人机交互、增强现实、虚拟现实等领域,三维重建都发挥着重要的作用。然而,受限于扫描设备、扫描对象特征信息等因素,基于深度相机的实时三维重建在图像数据获取、图像特征匹配和相机位姿估计过程中还存在着较多问题,影响着重建的鲁棒性和模型的精度。本文对基于深度相机和追踪相机实时三维重建的关键技术展开研究,连接多种异构相机,建立统一的数据接口,以深度相机的图像数据和追踪相机的位姿数据作为输入源,不同场景下高精度且具有清晰纹理的三维几何模型的构造为研究目标。研究重点为:(1)在深度与彩色图像数据的获取阶段,针对目前深度相机种类繁多、数据获取方式不一致的问题,为多种异构的消费级深度相机建立了统一的数据接口。本文研究了三种消费级深度相机RealSense D435、Structure Core、Astra Plus的深度图像数据以及彩色图像数据的获取方法,对比了消费级深度相机的主要参数,对深度和彩色图像数据的获取流程进行分析,定义了一个统一的深度相机图像数据获取的基类,派生了三种深度相机的子类,对其主要方法进行了实现。实验表明,本文实现的深度相机图像数据的获取方法可以较好地在重建过程分别使用不同种类的深度相机获取彩色图像数据和深度图像数据,并且重建生成精度较高的三维模型。(2)在位姿数据的获取与处理阶段,针对弱纹理场景重建效果较差的问题,研究了基于位姿数据的相机位姿估计优化方法。本文增加了实时三维重建的数据来源,同时使用深度相机和追踪相机进行扫描重建,对追踪相机获取到的位姿数据进行预处理,完成不同坐标系的数据转换,在过滤匹配、局部优化、全局优化等模块中使用位姿数据对相机位姿估计进行优化,提高了重建的鲁棒性。实验表明,基于位姿数据的相机位姿估计优化方法可以有效地提高弱纹理场景重建模型的精度。(3)在图像特征检测与匹配阶段,针对重建过程中特征匹配容易出错的问题,研究了基于颜色和面积的图像匹配过滤方法。本文对实时三维重建过程中图像特征检测的三种方法SIFT、SURF以及ORB进行了 GPU上的实现,研究并实现了基于颜色差异以及支撑区域面积的匹配过滤方法。实验表明,基于颜色和面积的匹配过滤方法可以有效地减少错误匹配的数量,提高位姿估计的准确性以及重建模型的精度。(4)应用上述改进后的图像数据和位姿数据获取方法、基于位姿数据的相机位姿估计优化方法、图像特征检测与匹配过滤方法以及传统三维重建中的三维模型生成方法,本文搭建了基于深度相机和追踪相机的实时三维重建系统,可以鲁棒地实现室内物体的实时三维重建,生成精度较高的三维模型。
其他文献
随着城市化的快速发展,智慧城市的建设融入到了生活的各个领域之中,它致力于运用信息和人工智能技术对整个城市运营需求做出快速反应和合理规划。目前大多数城市规划者和管理者专注于研究城市的交通流量变化,并取得了有效的研究成果,但在细粒度的城市流量推断和城市潜在交通流量预测方面的研究还存在一定不足。本文旨在这两个方面,使用深度学习技术提出了基于时空对比自监督的城市细粒度流量预测和城市潜在交通流量预测模型。作
作品《桃花坞》创作于2019年,是青年作曲家李渊清以回归传统的创作理念,汲取苏州评弹的唱腔、节奏等民间音乐素材,创作出的具有传统文化意蕴的现代二胡作品,并于同年获得“第36届上海之春国际音乐节江南风格二胡作品征集”第一名。《桃花坞》自问世就受到大家的喜爱,该曲以作者童年记忆中的桃花坞为表现主题,以江南音乐为出发点,融入评弹中琵琶三弦的特色过门乐句,以五声为主体,描绘了桃花坞街市热闹喧嚷与安静悠然的
随着大数据时代的到来,科学应用日渐呈现数据密集型计算的趋势。为适应大数据的有效存储与高效处理需求,各种分布式平台如雨后春笋般相继出现,如集群计算、云计算、雾计算等。但是无论依赖于何种计算平台,都离不开高效的任务调度策略。已有的分布式任务调度模型大都假设所有服务器在任务到达之前均处于空闲等待状态,且在执行任务期间可以一直保持在线可用状态。实际上,几乎所有的分布式平台都无法保证这一点,即每台服务器可能
水是地球上所有生命生存的重要来源。土壤水分是农作物生长的基础条件之一,是作物长势监测、作物估产以及农田干旱监测的重要指标,是陆地生态系统水分和能量循环的关键因素,特别是对盐渍土地区的生态环境具有十分重要的意义。传统的土壤含水量测定方法,耗时费力,不利于大面积监测土壤水分状况。而微波遥感具有能够全天时、全天候工作,可以穿透云层,并且对植被层具有一定穿透能力的特点,为实时、动态、大面积监测土壤水分提供
随着大数据互联网时代的到来,在线教育系统作为教育资源共享的平台、促进教育公平的工具逐渐得到关注。在线教育系统提供的高水平服务中,较为重要的是能实现个性化、智能化的智能教育;而知识追踪是智能教育系统的基础工作,提高知识追踪任务的完成性能与效率对提高教育系统智能程度有重要意义。过去的工作为更好解决知识追踪问题提出了多种方法,取得了一定的研究进展,但仍然存在一些问题:1、过去基于图神经网络的知识追踪模型
随着点云获取技术的日渐成熟,点云处理领域也吸引来了越来越多的研究者,通过对传统的点云算法研究,人们发现大部分点云问题偏向于使用均匀且致密的输入。由此,研究者们提出了点云上采样(点云超分辨率)的概念,旨在由稀疏、不均匀、嘈杂的输入生成一个更密集的点集;最重要的是,这个点集需要贴合输入所表示的潜在几何表面,且需分布均匀、符合人眼视觉感知习惯。传统的点云上采样方法往往基于表面局部平滑等约束进行优化,难以
三维重建技术是指通过给定的图像或视频数据集,将现实世界中的真实物体或场景在计算机中恢复成符合计算机逻辑表达的数字模型。目前有两种主流的方法,分别是基于深度相机的重建方法和基于多视图的重建方法。纹理是三维重建模型的重要组成部分,反映物体表面和结构的基本属性。纹理图像的质量影响着重建后的三维模型的质量,重建生成的纹理越清晰,模型的质量与精度也就越高,也更加真实。虽然可以通过提高相机的分辨率和位姿的精度
由不同类型的节点和边组成的异质网络结构在现实世界中具有广泛的应用场景,例如论文、会议、期刊、作者等不同类型的节点能基于论文-会议或论文-期刊的投稿关系、论文-论文的引用关系、论文-作者的撰写关系以及作者-作者的共作关系构建一个引文网络结构,此外现实场景中常见的网络结构还有社交网络、交通网络以及电商网络等。近年来,针对异质网络结构所建模的异质图神经网络不断迭代改进,能实践于现实项目以促进项目的高效运
基于软件开发开源、共享的精神,以GitHub为代表的开源软件代码托管和软件开发知识问答平台迅速发展并受到了众多开发者的青睐。这些平台积累了大量的高质量软件开发领域相关代码和知识,但是这些知识过于分散,难以固化,知识共享、传播的效率较低,影响开发者对知识的利用。为了解决开源知识的信息过载问题,本文对基于知识图谱的GitHub项目库推荐进行了研究,根据用户偏好个性化推荐项目库,同时利用知识图谱中的层次
信息时代的高速发展使全球的各个行业不断地出现新的服务协作需求,尽管当前业界技术架构不断变革出新,目的是为了简化业务流程服务装配开发效率问题,仍不能很好适应多应用级别的业务协作需求。如何有效探知客户业务需要,快速集成和调度服务,并实现服务协作。因此WEB服务组合已经成为目前信息产业的发展趋势。如何解决因不同行业间的业务差异、多个网络系统间的通讯协议差异以及语言、文化差异从而导致的低效、高成本的协作系