基于深度学习的计算机辅助外科手术工具跟踪算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:iamssisy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着医学水平和人们生活水准的不断提高,现代外科手术正朝着微创、准确、接触少、恢复快的方向发展。为了实现这个目标,计算机辅助外科手术(Computer Assisted Surgery,CAS)这种新型手术方式被提出。CAS是一种不同于传统手术定义的新兴领域,是多学科,多项现代先进技术的结合体,能以最少的手术参与人员高效且准确地完成外科手术,同时减少了病人的痛疼和失血量,缩短了术后患者身体恢复的时间。CAS的日渐成熟以及像达芬奇手术机器人系统这样高端设备的逐渐推广给广大需要做外科手术的患者带来福音。CAS的一个关键技术就是在手术中通过内窥镜获取图像并对手术工具进行实时跟踪定位,从而给手术中的主治医师和机器人提供工具的精准位置,便于医生和手术机器人进行下一步的决断。本文对CAS以及手术工具跟踪算法进行了一个大致综述,同时为了在二维空间内通过实时检测的手段准确的跟踪多个手术工具,本文综合当前多个优秀的目标检测网络的优点,提出了一种高效且准确的一阶段的逐帧手术工具检测网络,并且在真实的数据集上与当前主流的目标检测算法的多个性能指标做了对比。本文的主要工作有如下三点:(1)受当下经典的目标检测网络如YOLOv3,YOLOv4,DetNet的启发,结合了新颖主干特征提取网络、特征融合,检测头部分以及损失函数,并分别引入了两种注意力机制,搭建了能在内窥镜视频中实时、准确地检测手术工具的卷积神经网络模型。最终的网络模型在我们标注的数据集Cholec80-locations上表现出很好的性能。(2)与两种不同规格 SSD,SSD 的变体 RFBNet、RefineDet,Faster-RCNN,YOLOv4,引入SENet的YOLOv4,无锚盒的FCOS做了对比。在同一个真实的数据集上以及同一台设备上训练,然后测试上述手术工具检测网络,综合检测速度(FPS)和精度(mAP和中心点距离阈值评估)两个性能评估指标来看,本文中改进的网络结构的实际效果明显比上述经典的目标检测网络要好。(3)为了能使网络结构能部署到嵌入式设备中,本文提出了使用最新的轻量级主干特征提取网络GhostNet,并结合一阶段检测器SSD来加快网络模型的检测速度。这种新颖的组合方式可以保证在检测准确率没有大幅下降的前提下提高网络的检测速度,从而可以将模型部署到嵌入式设备中。同时与MobileNetv2、v3版SSD,ShuffleNetv2版SSD做了对比,实验证明本文提出的能部署到嵌入式设备上的手术工具检测网络性能优于上述轻量级检测网络。
其他文献
在工业酶生产技术应用中,利用纤维素酶、半纤维素酶降解木质纤维素等可再生资源,转化得到各种低碳环保的生物燃料和各种化工产品,对减缓不可再生资源消耗、环境保护和可持续资源与经济的发展具有重要意义。以里氏木霉和草酸青霉为代表的丝状真菌是木质纤维素降解酶类的主要生产者。已有研究表明,胞外蛋白主要由菌丝顶端分泌,丝状真菌的菌丝形态影响其胞外蛋白的产生,某些菌丝形态发生改变的菌株表现出了更高的产酶能力。同时菌
本实践报告以青州市博物馆的一次陪同翻译为基础,通过目的论对实践内容进行分析,发现实践的难点主要包括:知识盲区,文化障碍,听力障碍等。为解决上述难点,本文在目的论的指导下,将翻译目的作为翻译任务的出发点和根本,运用增译,减译,意译等翻译策略对此次口译实践进行了细致分析。上述口译实践录音的整理分析表明此次翻译实践完成度较高,故本次口译实践可作为论文实践报告的资料来源。作为目的论指导下的陪同口译实践报告
背景:颞下颌关节紊乱病(Temporomandibular Disorder,TMD)是口腔颌面外科高发常见疾病,目前临床多用锥形束CT(Cone-Beam CT,CBCT)对其进行首诊影像检查,虽经济便捷且较二维X线清晰,但对TMD目前CBCT仍难以完全满足其早期诊疗需求;下颌骨骨皮质作为CBCT扫描野内正常解剖组分,其改建与咀嚼刺激可能存在关联;而偏侧咀嚼等左右失衡的下颌运动状态,其长期存在可
本研究从家具厂未处理污水中分离具有甲醛抗性的细菌和真菌。主要研究结果如下:1.抗甲醛细菌的分离与鉴定分离了8株抗甲醛细菌,6个菌株能在20mmol/L甲醛的平板生长,命名为SG-32、SG-71、SG-87、SG-107、SG-122、SG-135。1个能在10mmol/L的甲醛平板上生长,命名为SG-zong。1个能在4mmol/L甲醛平板上生长,命名为SG-ju。经生理生化分析和分子鉴定,初步
随着对产品便携性要求的提高,微型零件的需求越来越大。微成形技术是一种直接利用板料塑性成形制造微零件的方法,相对于微加工技术具有低成本、高效率等优点。在金属成形过程中,金属的韧性断裂行为是影响板料成形性能的主要因素。为了提高微成形零件的成形质量和成形效率,完成合理的成形设计,需要了解成形机理,并建立准确的成形仿真模型。但在微成形过程中由于尺寸效应的存在,宏观断裂模型和数值模拟方法不能直接应用于微尺度
利用金相显微镜、拉伸试验机和扫描电子显微镜等手段研究了不同去应力退火工艺对TB15钛合金力学性能、断口形貌和显微组织的影响。结果表明:经去应力退火后,残余应力大幅度下降;去应力退火对TB15钛合金的拉伸强度和拉伸塑性影响较小,而断裂韧性受热处理影响较大,与无去应力退火试样相比,断裂韧性降低较为显著;不同去应力退火试验后,TB15钛合金的组织相差不大,未去应力退火断裂韧性断口组织较去应力退火后更粗糙
微分包含是非线性分析理论的重要分支,它与微分方程、最优控制及最优化等其他分支有着紧密的联系.微分包含周期解的存在性和可控性是微分包含理论的基本内容.本文主要研究了带有非局部条件二阶微分包含的定性问题,给出了带有非局部条件二阶微分包含周期解的存在性定理,并对带有非局部条件二阶微分包含的可控性进行了研究.首先,本文利用不动点定理讨论了一类积分微分包含的周期解的存在性问题,在凸情形下建立了周期解存在的充
作为西方文化的滥觞,希腊神话向世人展现了古希腊时代最为质朴的早期人类生活方式、思维方式、宗教信仰、人生观和世界观等,在中西民族文化交流中扮演了重要角色,因此被大量译介入中国。美国作家罗宾·哈德的《希腊神话手册》是一部介绍希腊神族谱系的学术专著,融合了大量最新研究成果,是对以往作品的继承与创新,有助于丰富拓展人们对于西方民族文化的了解认知。本报告以《希腊神话手册》第二章的汉译本为研究对象,所运用的翻
随着机器人技术的快速发展,服务机器人在家庭生活中扮演着越来越重要的角色。而家庭环境下信息繁杂多变,使得服务机器人缺乏一个统一性、规范性和具备学习能力的知识体系。因此,本文研究了私有云框架下面向服务任务的本体知识构建方法。基于本体论诞生的本体库可以将杂乱的知识进行高效的整理与分类,实现知识的规范化运用。利用目标检测与自然语言处理技术提出的本体库知识自动添加机制使本体库具备了学习能力。为了实现多机器人
2020年6月笔者跟随导师收治1例非酒精性脂肪性肝炎合并肝纤维化患者,疗效较佳,现报告如下。1病案患者,女,2020年6月22日初诊。主诉:右上腹部胀满不适1月余。现症见:右上腹胀满,晨起口干苦,欲温饮,无反酸、嗳气,左足踝肿胀,夜寐安,纳食可,小便稍黄,大便正常。既往有非酒精性脂肪性肝病、高尿酸血症病史。否认高血压、糖尿病、冠心病、乙型肝炎病史。查体:体胖,舌淡暗红,苔薄白,