面向增强现实的三维场景实景映射关键技术研究

被引量 : 0次 | 上传用户:zhfly6278
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
增强现实技术通过将虚拟信息叠加在真实场景上进行渲染,丰富了使用者的感知。数字孪生技术是对真实世界的数字复刻,它基于空间位置的映射关系实现三维物理空间与数字世界的虚实交融。增强现实技术与数字孪生的集成可以在真实物理对象上叠加虚拟的三维孪生模型、提高数据的可视化能力,而其中的关键技术就是实景映射。三维场景实景映射技术计算相机的位置和姿态,并基于数字世界中实体所具备的真实空间坐标和姿态获得三维数字世界和现实物理世界的映射关系,以在相机视角实现虚实融合。因此,相机位姿估计的准确度对实景映射技术的精度和增强现实的效果至关重要。传统的视觉惯性导航系统虽然可以获取相机的位置和姿态,但是受光照条件和运动物体影响较大。弱光照环境下的图像质量会明显下降,运动物体在图像中对应的像素会发生偏移,这些都会对系统的精度和鲁棒性造成影响。为了提升实景映射的精度,改善增强现实系统虚实融合的效果,本文从图像增强、消除运动物体影响和改进定位方法等角度出发,力图提高视觉惯性导航系统对相机位姿估计的鲁棒性和精度。论文的主要研究成果如下:(1)提出了面向时序数据的暗光图像增强算法。为了提高视觉惯性导航系统在低照度环境下相机位姿估计的精度,本研究提出了适用于时序数据的暗光图像增强算法以提升图像质量。首先,通过实验从图像增强效果和算法运行效率两方面比较现有的图像增强算法;之后,为了使算法更加适合应用于视觉惯性导航系统,对其进行改进:使用了三维卷积神经网络以保留图像帧之间的时间相关性,为了提高图像特征点的稳定性改进了空间相关性的模型。改进之后的算法在实时运行的前提下可以有效提升图像质量,更加适合序列数据。在公开数据集中,与应用未改进的图像增强算法的定位导航系统相比,本方法的系统定位精度提升19.83%。(2)提出了一种融合惯性测量单元(Inertial Measurement Unit,IMU)数据的动态特征点剔除算法。为了提升动态环境下视觉惯性导航系统的定位精度和鲁棒性,本文研究了使用IMU数据辅助剔除动态特征点的算法。首先,使用算法对IMU数据累积误差进行检验;之后,使用准确的IMU数据计算相邻两帧图像之间的相机运动;最后,计算图像特征点匹配到运动模型的距离,距离较大的特征点匹配是需要剔除的错误匹配或者动态特征点匹配。IMU直接测量设备自身运动,不受环境影响,所以算法可以适用于运动信息较多的场景。该算法可以有效剔除图像中的动态特征点。与VINS-mono相比,在公开数据集中本算法的定位导航系统精度提升4.00%。(3)提出了多约束融合的动态特征点剔除算法。在融合IMU数据的动态特征点剔除算法的基础上进行了更深一步的研究。算法融合了多种约束,既可以与IMU数据相结合剔除沿极线方向偏移的特征点,又能够利用空间一致性和视觉数据的时空关系剔除动态特征点。算法将多种约束进行融合,避免了单一约束失效的情形,能够更好地剔除运动物体上的特征点,提高了特征点匹配的精度。将算法集成到视觉惯性导航系统中,提出了VINS-dimc,通过公开数据集和自行采集的数据上的实验证明了本算法在多种环境下都能够准确剔除动态特征点,同时又能保留静态特征点,在公开数据集中本算法的定位精度与VINS-mono相比提升4.45%。(4)提出了云—端协同的定位方法。本文研究了云—端协同的定位方法,终端定位在智能终端上完成,使用改进的视觉惯性导航系统估计相机的位置和姿态;云服务定位在云服务器完成,将图像传输至云服务器,提取特征点并通过与已有的三维孪生点云数据进行匹配计算相机的位置和姿态,进而使用云定位的结果对终端定位进行修正以减小累积误差。相较于只使用视觉惯性导航系统的传统方法,改进后的系统的累积误差更小、定位更加准确、稳定。将此定位方法应用于增强现实系统,在对三维孪生场景赋予真实三维坐标后,实景映射技术利用稳定精准的相机位姿将三维孪生场景映射到真实场景中,实现了相机视角下的虚实融合。
其他文献
家禽肌肉纤维是组成家禽胴体结缔组织的重要部分,肌纤维结构又是禽类肌肉构成的重要组成部分,肌纤维组织的健康生长及发育过程对于提高家禽肌肉组织的功能特性、品质等有着重要的作用,该文根据以往研究,从家禽肌肉特性、结构、类型、数量、转化规律,以及肌纤维生长发育规律、营养和非营养对其的影响各个角度,对家禽肌肉生长发育调控做出综述。
期刊
<正>3月24日,浙江省科技厅召开2023年全省科技系统全面从严治党暨“创新深化双建争先”工作会议,总结2022年全面从严治党工作情况,部署2023年重点工作任务。厅党组书记佟桂莉主持会议并讲话,厅长高鹰忠参加会议,驻省财政厅纪检监察组组长徐首红到会作指导讲话,厅领导吴卿、周土法,驻省财政厅纪检监察组副组长吕继进,厅机关全体干部、厅属单位班子成员参加会议。佟桂莉指出,过去一年,厅党组始终以习近平新
期刊
目的:分析肿瘤放疗患者的健康教育需求,并给予进一步的干预建议。方法:随机抽取2015年9月~2016年9月在医院就诊的50例肿瘤放疗患者,采用自行设计调查问卷的形式,调查这50例患者的健康教育需求和对健康教育知识的掌握程度。结果:肿瘤放疗患者的健康教育知识的需求程度高,均在50%以上,但是患者对健康教育知识的掌握程度不够。结论:要加强对肿瘤放疗患者的健康教育,以医护人员教育为主导,辅之开展患者的个
期刊
液压支架是煤矿企业在开采过程中的一项重要设备,其性能会对煤矿开采作业的安全性及开采效率造成直接影响,这也使许多煤矿企业在生产过程中都采用了高端液压支架。针对高端液压支架制造工艺方案进行研究,以期对相关行业发展有所帮助。
期刊
综合应用黄河口凹陷B油田沙三中段测井、分析化验和开发动态资料,根据熵的原理提出一套利用熵权定量表征水淹非均质性的方法,阐明了水淹非均质性的控制因素及剩余油的分布规律。研究表明:研究区层间非均质性较弱而层内非均质性较强,地层系数、渗透率突进系数和距断层距离是影响水淹非均质的主要因素,孔隙度、渗透率和泥质含量影响较小;根据水淹指数可将水淹层定量划分为四个级别:未水淹(Ifw≥0.80)、弱水淹(0.7
期刊
<正>苍蝇喜在粪便和腐烂物中产卵,雌蝇常爬入人畜粪便等孳生缝隙中,伸出产卵管在孳生物深处产卵,以利卵粒得到充分保护。苍蝇属于杂食性蝇类,主要采食人和畜禽的分泌物、排泄物等。由于它吐泄、排粪频繁,“边吃边吐”的习性,在畜禽场里,饲料、饮水器等常被它污染。
期刊
学位
目的 探讨不孕症体外授精-胚胎移植(IVF-ET)反复种植失败患者自我同情对再次妊娠结局的影响,为临床制定措施改善患者再次妊娠结局提供依据。方法 纳入女性不孕症IVFET反复种植失败患者进行调查,采用自我同情量表评估自我同情水平,给予患者第4次IVFET治疗,IVF-ET治疗后4周,通过超声评估患者再次妊娠结局并将其分为妊娠成功组和妊娠失败组,比较妊娠成功组、妊娠失败组自我同情水平及一般资料,重点
期刊
报纸
目的:观察“活血通络、祛瘀生新”理念下自拟活血复元汤治疗气滞血瘀型国际骨循环学会分期(ARCO)Ⅰ、Ⅱ期股骨头骨坏死中青年患者的效果。方法:选取我科2020年8月—2021年11月89例ARCOⅠ、Ⅱ期股骨头骨坏死中青年患者作为观察对象,采用随机数字表法分组,对照组44例予以体外冲击波治疗,观察组45例给予联合“活血通络法”指导下自拟活血复元汤治疗,对比两组患者临床疗效、髋关节功能、血凝状态及骨修
期刊