基于云台式和手持式图像采集系统的大场景三维重建方法研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:zhuyanmei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器人导航、自动驾驶和虚拟现实等技术的发展,高精度三维重建、位姿估计和三维重建模型展示技术也愈发重要。并且伴随这些技术进入新的发展阶段,三维重建服务愈发普及,三维重建场景愈发复杂多样,三维重建设备愈发一体化,三维重建效率亟需提升,三维重建设备成本亟需降低。针对新技术对三维重建效率、成本、精度和稳定性提出的挑战,使用低成本的三维重建图像采集设备建立高效图像采集系统进行高精度的三维重建是亟需解决的问题。针对上述问题,本文从图像采集设备、图像采集系统和大场景高精度三维重建以及全景漫游展示等角度进行深入的探索和研究。基于云台式和手持式图像采集系统的大场景三维重建方法研究主要内容和成果如下:(1)针对当前三维重建图像采集设备成本较高、采集过程复杂和效率较低的问题,提出了使用自研的云台式图像采集设备和手持式图像采集设备建立高效率低成本的图像采集系统进行三维重建。其中,自研的云台式图像采集设备采用了多台Xtion PRO LIVE(以下简称Xtion)的方案,在室内大场景进行图像采集时可以做到全自动的高效采集。基于手持式图像采集设备除了深度传感器和彩色传感器之外,还配备了宽视场鱼眼相机和IMU(Inertial Measurement Unit,简称IMU),多传感器融合使得位姿估计精准,更适合大场景的三维重建。基于云台式和手持式图像采集设备的三维重建系统开发了三维重建全景漫游系统,可以实现身临其境地浏览三维重建模型和全景图,感受到三维模型的形状以及三维场景与浏览者的距离。并且通过大量实验证明,本文提出的基于云台式和手持式图像采集设备建立图像采集系统进行三维重建,优化了图像采集流程,提高了图像采集系统效率,并且降低了三维重建图像采集设备的成本。(2)针对室内大场景三维重建效率较低、三维重建模型精度较低和展示效果较差等缺陷,提出一种基于云台式图像采集设备的三维重建系统。首先对自研的图像采集设备进行相机标定的研究,由于图像采集设备采用多台Xtion相机构成的方案,深入研究了单台Xtion的彩色和深度相机的内参标定、单台Xtion的彩色相机和深度相机外参的标定和多台Xtion之间的参数标定。然后对几种图像特征提取算法进行理论分析和数据集测评,针对云台式图像采集系统的单站点和多站点的工作模式,结合GMS(Grid-based Motion Statistics,简称GMS)算法的分析和实验,选择最优算法组合并进行稳定性实验和结果分析。接下来对位姿估计算法进行分析,结合云台式图像采集系统的单站点和多站点特有的位姿优化算法以及回环检测算法,可以有效提高云台式三维重建系统的位姿估计精度。并且在大场景的三维重建中,分析并使用改进的 TSDF(Truncated Signed Distance Function,简称TSDF)算法,经过实验证明,可以有效提高三维重建效率。最后,通过大量实验可以证明,基于自研的云台式图像采集设备和系统的三维重建可以有效提高三维重建精度和效率。(3)针对纯视觉里程计在相机抖动、建模场景特征点较少和场景中物体状态发生变化的情形下,位姿估计不准确从而导致三维重建模型错位、漂移等问题。提出了基于紧耦合滤波视觉惯性里程计的三维重建系统,这种方法在本文的手持式设备上表现出的性能良好。基于手持式图像采集系统的多传感器数据融合更加精准。状态管理及时删去冗余信息,大量节约运行内存。滑动窗口滤波算法在计算资源受限的情况下,可根据窗口内特征点数量,动态改变滑动窗口时间,逐渐边缘化旧参数,及时删去冗余信息,从而大量节约内存。而滑动窗口工作模式可以准确收敛,使惯性信息和视觉信息融合精准,手持图像采集设备的位姿估计也更加准确,三维重建模型更加精准,有效改善手持式三维重建系统的性能。从理论上详细分析基于多态约束卡尔曼滤波和滑动窗口滤波算法的视觉惯性里程计,在实验中使用公开数据集进行量化实验和对比分析。经过大量实验证明,基于手持式图像采集设备的三维重建系统有效提高了位姿估计的精度,从而提高了大场景三维重建的精度。(4)针对三维重建模型沉浸感不强、展示效果差和展示效率较低等缺陷,提出了一种基于云台式和手持式图像采集系统协同构建的三维重建全景漫游展示系统。在该系统中,综合了云台式和手持式三维重建系统的优势。云台式图像采集系统在室内大场景中采集各个单站点原始图像信息,并向三维重建展示系统提供经过处理的全景图、各个站点的位姿、优化后的多站点位姿和各个站点的三维重建模型等信息。结合基于手持式图像采集设备三维重建系统的高精度位姿和大场景三维重建模型,协同构建三维重建全景漫游展示系统。利用Three.js和Nginx等技术,该展示系统可以在网页上进行浏览。使用者在浏览时,可以进入三维重建模型场景的内部,进行身临其境地观看三维重建模型。可以使用光标切换场景进行全景漫游,所浏览的三维重建模型清晰度较高。移动光标,通过光标的大小和角度变化,还可以感受到三维重建场景内部物体的形状和与浏览者的距离。最后通过大量实验,验证了三维重建模型的精度。还和目前已有的三维重建系统进行对比,通过三维重建精度、效率和效果等方面进行的实验和结果分析,可以证明本文提出的三维重建系统的稳定性和先进性。本文对基于云台式和手持式图像采集系统的大场景三维重建方法进行深入研究,提出了使用自研的低成本云台式图像采集设备和手持式图像采集设备,建立高效率的云台式和手持式图像采集系统进行高精度三维重建。通过不同场景的大量实验分析和对比,本文提出基于云台式和手持式图像采集系统的大场景三维重建方法有效提高了三维重建图像采集系统的工作效率,降低三维重建图像采集设备的成本,提高了三维重建系统的性能,优化了三维重建模型和展示的效果。基于本文方法获得的成果可以广泛使用于虚拟现实、增强现实和机器人等领域。
其他文献
【正】 廉洁不仅事关个人品德的优劣,更涉及国家事业的兴衰。常说“路线确定之后,干部就是决定的因素。”为政者既然以其昏昏,不能使人昭昭,那不廉不洁、贪脏枉法的人,怎能正
虎林市位于黑龙江省东部,完达山南麓,乌苏里江的左岸,全市总面积9330k㎡。根据GB3838-2002((地表水环境质量标准》和GB/T14848-93《地下水环境质量标准》,分析了虎林市2010年枯水期
目的探讨逆行吻合神经法重建皮瓣感觉的可行性。方法选择豚鼠100只,随机分为4组:逆行吻合神经组(A组,30只)、顺行吻合神经组(B组,30只)、未吻合神经组(C组,30只)及正常组(D组
【正】 我在《从严治党的前提与起点之管见》(载《求实》今年第三期)一文中,提出了“执政党系统的各中间层次是从严治理的起点”的观点。黎青平同志提出了商榷意见(载《求实
目的探讨盐酸小檗碱片联合美沙拉嗪治疗远端溃疡性结肠炎的临床疗效。方法收集泰州市中西医结合医院2015年1月-2017年12月收治远端溃疡性结肠炎的患者80例,随机分为对照组和
目的:运动饮料能在高校篮球运动前、中、后为运动员迅速补充水分、电解质和能量,维持和促进体液平衡或快速恢复,可改善体内代谢过程和体温调节,从运动医学和营养学角度来分析
新时代马克思主义意识形态话语权也即中国特色社会主义意识形态话语权,是指新的历史方位下的以中国特色社会主义最新理论成果为核心内容的马克思主义意识形态话语权,也就是新时代中国特色社会主义思想在社会政治建设、经济建设、文化建设等方面所具有的决策力、执行力与影响力。马克思主义意识形态话语具有党性与人民性相统一、科学性与革命性相统一、实践性与发展性相统一的基本特征。在意识形态话语权斗争日趋复杂和激烈的新时代
管网系统中发生高强度的水力瞬变,形成水锤既会威胁系统安全运行,又会加重管网的二次污染,这需要通过工况模拟,预测分析后,采取必要的措施尽力避免。而任何事物均有其两面性,