基于深度和位姿估计的结肠表面三维重建方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:xhbing520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
结直肠癌(Colorectal Cancer,CRC)是常见的消化道恶性肿瘤,是世界范围内癌症死亡的第三大原因。医生使用结肠镜检查结肠内表面,并根据结肠镜尖端的摄像头提供的视频反馈,检测和切除癌性息肉,是目前预防和干预阻断结直肠癌的最有效方法。然而,根据临床研究报告显示,在常规结肠镜检查中,多达22%-28%的息肉会被遗漏,其中检查覆盖率不足是造成息肉遗漏的一个重要因素。临床研究表示,结肠镜检查覆盖率大约在90%至95%是可取的,而在目前的常规检查中,只达到了81%的检查覆盖率。因此,利用计算机辅助技术,在结肠镜检查过程中为医生提供更加丰富的信息,提高医生对遗漏区域的感知,从而提高检查覆盖率,具有重要的临床意义。目前已有很多关于结肠镜质量控制方法的研究,主要可以分为两个大类,一类是生成结肠内表面可视化地形图,包括二维的结肠内壁展开图和结肠的三维重建地形图;另一类是通过对一些结肠镜检查质量指标的测量,为医生提供检查过程中的质量反馈,如检查时间、有效帧占比以及结肠镜运动变化等。然而,目前的研究依然存在一些问题,质量指标测量系统反馈的结果不直观,无法反映未覆盖区域情况;二维展开图把结肠看作了平滑的圆柱表面去处理,因而忽视了褶皱后面的情况;结肠整体的三维表面重建仍然难以实现,目前大多只能基于局部表面进行重建。正是由于上述困难和挑战,目前基于结肠镜检查的结肠表面三维重建方法离实际临床应用还存在极大的距离。围绕结肠镜质量控制,针对检查过程中覆盖率不足的问题,本文对结肠镜下的结肠表面三维重建方法进行研究,采用深度学习方法对既有的技术路线和方法进行新的探索,提出了一种基于深度和位姿估计的结肠表面三维重建方法,主要研究内容如下:(1)基于仿真数据集的图像深度图估计。深度图是反映空间结构的重要信息,由于结肠镜视频图像对应的真实深度数据难以获得,通常需要借助虚拟内窥镜数据进行迁移学习。目前有两种常用方法,一种是将虚拟内镜图像渲染成真实内镜图像效果,并在渲染后的数据域上训练深度估计网络,支持从真实内镜图像直接恢复深度信息;另一种是在虚拟内镜图像数据域上训练深度估计网络,再将真实内镜图像数据迁移到虚拟内镜图像域,支持从真实内镜图像间接恢复深度信息。本文借助开源数据集Endo SLAM对两种方法进行实验,并在临床结肠镜检查视频图像上测试,最后采用第一种方法得到了可用于结肠镜视频图像的深度图估计模型。该模型在测试集上的预测精度达到了99.5%。(2)基于无监督深度学习方法的结肠镜相机位姿估计。对于多帧图像的三维重建,需要借助相机位姿将多帧信息进行融合。本文使用临床结肠镜检查视频图像构建数据集,借助前一步得到的深度估计模型,利用前后帧的深度投影及图像差异计算损失,基于无监督深度学习方法实现了相机位姿估计。该方法和传统SLAM(Simultaneous Localization and Mapping)方法相比,绝对平移误差减小7.4%。(3)结肠表面三维重建及结肠镜检查质量统计分析。本文将单目重建问题转化为RGB-D(Depth)重建问题,使用TSDF(Truncated Signed Distance Function)算法将多帧的深度信息和相机位姿信息进行融合,然后采用MC(Marching Cubes)算法重建网格表面,重建精度为3.74±3.98mm,优于传统的SLAM方法。最后,根据得到的三维重建模型和相机运动信息,针对相机运动速度和检查覆盖率情况,对多个结肠镜检查视频进行了检查质量统计分析。
其他文献
<正>中国南方电网有限责任公司超高压输电公司(简称南网超高压公司)作为南方区域西电东送事业的责任主体,是推动国家西电东送事业可持续发展的主力军,支撑服务南方五省区电力供应保障工作,负责投资建设、运行维护、经营管理南方电网跨省区骨干网架和重要联络线。截至2022年,
期刊
为了提高压电水听器在2k Hz以下低频段的性能,本文设想了一种对称式换能器结构,以两组压电陶瓷圆片、聚氨酯保护层、聚氨酯衬底构成两对换能器,相互独立工作,分别固定在一个圆柱形金属块的两端,组合成一个结构稳固的圆柱体。水听器内置了电路模块,换能器输出的两路信号先分别经过相同的低噪声放大电路,然后进行信号叠加,之后完成数字化处理,以RS-422协议对外通讯。本文主要对压电陶瓷圆片、保护层、衬底构成的换
学位
利用计算流体力学方法对离心式水泵进行数值模拟计算,对内部流体域进行非结构网格划分,并验证了网格无关性问题;采用k-ε湍流模型和Coupled算法,基于Fluent平台开发了离心式水泵的仿真模型,通过仿真计算结果分析了水泵内部流动特征,并预测其性能特性。结果表明,利用计算流体动力学方法能够得到泵内流动特性,预测的扬程、效率和功率的变化趋势符合其性能特性的一般规律,对于水泵产品的研发设计具有重要意义。
期刊
根据世界卫生组织统计,截至2020年,全球已有4.22亿人患糖尿病,在我国有1.8亿人患糖尿病,每年增长12%。有研究表明,糖尿病足部溃疡是糖尿病主要并发症之一,由于溃疡内持续着不平衡的炎症反应和高度的氧化应激效应,糖尿病足部溃疡存在着愈合较慢、易感染等问题,如不及时干预可能会有截肢风险。因此对这类因糖尿病引起的慢性溃疡伤口进行科学性、针对性管理治疗具有重要意义。研究表明活性氧(reactive
学位
随着电力电能在能源供给中的占比越来越高,电力变压器作为输变电系统的关键组成部分,其正常运行对社会发展具有重大意义。绕组是变压器故障的常见部位,其结构变形导致的振动特性变化与运行状态密切相关。近年来基于加速度传感器的变压器振动在线化监测逐步发展,但仍属于壳体检测的范畴。内部振动经过复杂的耦合机制传播到壳体表面,壳体检测难以区分来源与大小。针对该现状,本文以φ-OTDR分布式光纤振动传感技术为切入点,
学位
当皮肤大面积受损或伤口长时间不愈合时,可能发生局部甚至全身的问题,如细菌感染、代谢增加、免疫系统丧失等。伤口的细菌感染是伤口愈合过程中的主要障碍,已成为越来越多严重疾病甚至死亡的原因。构建具有良好抗菌活性且能促进伤口愈合的药物递送材料至关重要。尽管目前对药物递送材料系统已经进行了广泛研究,这主要是基于掺入各种抗菌剂,包括金属离子或纳米颗粒、抗生素、阳离子聚合物和抗菌肽等。然而,药物输送材料系统的设
学位
改革开放以后我国的青年志愿服务事业经历了加速度式发展,2008年是一个重要分水岭,之后高校志愿服务组织数量以及规模发展壮大,而在其中的重要力量——志愿服务型学生社团,一直走在大学生志愿服务事业理论与实践的前线。但由于志愿服务的社会实践属性,导致高校志愿服务型学生社团管理方面的学术研究越来越落后于实践活动。因此,对高校志愿服务型学生社团管理问题开展系统研究便有着重要意义。研究在系统梳理国内外相关文献
学位
随着设计和制造过程智能化程度的提升,基于数字孪生技术开展生产系统仿真的研究对国产自主化工业软件具有重要意义。在解析基于数字孪生生产系统仿真软件的特征和应用需求的基础上,阐述了生产系统仿真软件的关键技术,包括生产系统孪生模型构建、生产系统仿真优化和离散事件基础仿真引擎;通过整合国内外生产系统仿真软件,总结了生产系统仿真软件的应用;基于数字孪生的生产系统仿真软件的特征,以及软件与数字孪生模型高保真表示
期刊
<正>呼政办发〔2022〕20号2022年5月7日各旗、县、区人民政府,市各有关部门:为进一步健全养老服务体系,保障健康、失能、经济困难等不同老年人群体,分类提供养老保障、生活照料、康复照护、社会救助等服务,按照中共中央、国务院《关于加强新时代老龄工作的意见》、国务院《关于印发“十四五”国家老龄事业发展和养老服务体系规划的通知》(国发〔2021〕35号)《内蒙古自治区“十四五”养老服务体系发展规划
期刊
企业发展的任何阶段都离不开高效稳健和行之有效的管理手段,而合规性管理是企业管理最重要的内容之一,很多企业并不重视合规性管理,认为其不能给企业带来直观的经济效益,未能建立健全合规管理水平,这是有失偏颇的。文章结合企业生产实际,就企业合规性管理的重要节点进行探析。
期刊