基于深度学习的计算机辅助手术工具检测算法及手术流程识别

来源 :山东大学 | 被引量 : 0次 | 上传用户:hahaha123789
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当代医疗技术的不断提高,外科手术已经迈入革命性的时代,正向着微创化、数字化及智能化方向转变。计算机辅助手术作为数字化微创外科手术革命的初始已经广泛活跃在外科治疗的前沿领域,同时手术工具检测和手术流程识别分别是计算机辅助手术领域重要的研究课题。在计算机辅助的微创手术系统中,手术工具检测算法可以为医生或者辅助机器人提供准确、实时的信息,例如轨迹、位置信息等,然后帮助外科医生制定最佳的手术规划或者提前手术预警,从而减少患者并发症,使手术更安全。此外在手术过程中进行手术流程识别有利于提高手术效率,并协助经验较少的外科医生做出正确决策,而且对完整的手术视频进行自动手术流程识别有助于外科医生的技能评估和手术视频数据库的索引。然而传统的手术工具检测算法大都存在不够精确、耗时、昂贵、占用较大手术室空间的缺点,因此基于深度学习的手术工具检测算法的出现,为计算机辅助手术的发展增添了新的动力。但是很遗憾目前的手术工具检测算法达不到精度与速度并进,同时极少数研究者关注帮助手术程序标准化的自动手术流程识别。基于实际需求,本文主要设计了基于深度学习既快又准的手术工具检测算法和手术流程识别方法,主体工作如下:(1)构建真实手术场景下的数据集:当前研究所提出的手术工具检测算法大多是基于ATLAS Dione和EndoVis挑战赛数据集的,前者视频是模拟手术场景;后者虽然是真实手术视频,但手术工具移动速度很慢,无法代表常规手术场景中复杂的情况。因此本文对Cholec80数据集的视频进行手工标注,得到了一个新的带有定位信息的Cholec80-locations数据集,该数据集是在具有复杂性的真实手术场景下获得的。
  (2)设计两种手术工具检测算法:本文设计了一种一阶段轻量级的无锚边盒卷积神经网络模型,利用经典的火模块替换原来沙漏网络中的残差结构,同时通过手术工具的中心点得到手术工具的边界框不需要后处理过程。通过对比实验表明,该方法极大的削减了训练卷积神经网络模型所需要的参数,实现检测手术工具过程中对准确性和实时性并存的需求,明显优于其他几种基于深度学习的手术工具检测算法。另一方面,本文设计了一种基于卷积化长短期记忆和卷积神经网络的手术工具检测算法,该算法结合多尺度思想,同时利用图像的时空信息,既快又准的完成手术工具检测任务。本文还通过处理手术工具检测算法的输出信息(存在,类别,位置),得到在手术视频里手术工具的使用信息(热度图,动作时间线,运动轨迹图等)为评价外科医生的手术技能提供数据支持。
  (3)提出自动手术流程识别算法:由于检测当前视频帧中存在的手术工具种类是判断当前手术流程的依据之一,本文还进一步提出了一种端到端可训练的提取视频图像时空信息以输出手术流程的识别算法。该算法采用了残差网络和独立循环神经网络,是输出手术工具存在性信息和手术流程阶段的双分支结构。本文通过召回率、F1分数、混淆矩阵等评估指标对多种手术流程识别算法进行对比实验分析,最终实验结果证明,该研究优于使用长短期记忆的网络模型,而且识别效果更准确高效。
  
其他文献
基于机器视觉的交通流估计研究一直都是智能交通领域的研究热点,是解决城市交通问题的关键技术之一,具有重要的理论意义和应用价值。面向复杂城市交通环境的交通流估计面临诸多挑战:城市交通场景车辆多而密集,且存在遮挡和小尺寸目标,增加了目标特征提取处理难度;城市交通场景复杂,基于单个目标的时空关联过程复杂耗时且精度较低,难以有效实时地进行交通流估计;基于交通视频的方法仅可输出交通流参数数据,而针对可视化的交
海洋场景感知是无人艇等海上无人装备有效完成各类既定任务的前提,而目标检测是场景感知与理解领域的基础性任务,提升海面目标检测算法的精度对提升无入水面艇的工作能力意义重大。近年来,基于深度学习的目标检测研究取得了突破性进展,在大规模标准库上取得了较好的检测识别效果。但常用的目标检测数据集中海面目标缺乏,导致目标检测模型在海洋场景中的泛化能力较弱。与此同时,由于海洋环境更加复杂多变,高质量海洋目标样本获
目前,腰椎间盘突出症的诊断依靠医生主观判断,诊断结果的准确性会受到医生经验及知识水平的限制和影响。因此,实现腰椎间盘突出症的自动诊断具有重要的意义。本文在阅读大量脊柱疾病诊断技术相关文献的基础上,研究并开发了一套基于深度学习的腰椎间盘突出症自动诊断系统。针对椎间盘退变程度、突出位置及大小,实现了Pfirrmann分级诊断模型和MSU分型诊断模型,并构建了腰椎间盘突出症自动诊断系统为患者及医生提供诊
机器人导航是机器人领域中一项重要的技术,广泛应用于自动驾驶、国防航天、物流配送、巡逻安检等各个领域当中。近年来人工智能技术的发展,尤其是深度学习和计算机视觉等技术的发展为该领域的研究发展带来了新的契机,众多工业和学术界的研究人员针对该领域开展了丰富的研究。  虽然目前该领域已经有了诸多经典的工作,但是一方面系统设计的复杂性,对数据样本的需求以及模型的可解释性一直是不同技术框架中难以平衡的问题。另一
学位
随着人类科技应用和探索自然步伐的进一步深入,对机器人的移动能力也提出了越来越高的要求,要求其能够在复杂的地形环境下自主运动。与轮式或履带式机器人相比,腿足式机器人具有克服障碍和适应复杂地形的能力,可作为多自由度的移动承载平台,在非结构化地形完成移动任务。本文以六足机器人作为研究对象,针对六足机器人在复杂环境下的移动控制问题,研究六足机器人系统的高适应性运动规划算法与控制方法框架,力求实现基座运动与
在计算机视觉领域中,动作识别一直是一个热门的研究问题。之前的动作识别主要基于视频数据,但近几年来随着深度传感器技术的发展,人体骨架数据变得容易获取,基于骨架数据的动作识别也逐渐成为一个重要的研究方向。骨架数据是人体动作的高维表征,其相比于视频数据有着数据量小、不受复杂背景与光照的干扰、鲁棒性强等优势。早期动作识别是动作识别任务的延伸,其不同之处在于早期动作识别需要在动作结束前识别出动作类型,从而能
车辆作为城市交通网络中的重要组成部分,成为当前智能交通系统内的重点研究对象。车辆重识别旨在对车辆身份进行识别,可以在大规模监控网络中搜索与指定车辆身份相同的车辆图像,对于交通治安人员搜索特定车辆、跨视图车辆跟踪和车辆行为分析等应用具有重要作用。当前车辆重识别研究主要基于道路监控相机进行,在地域限制和灵活性方面具有一定局限性,相比较之下,无人机机载相机平台由于具有极高的自由度,在车辆重识别领域具有重
计算机视觉和自然语言处理是人工智能领域的研究热点,在实际的生产生活中有着广泛的应用,比如人脸识别、机器翻译等技术。随着深度神经网络研究的深入,尤其是卷积神经网络在计算机视觉领域以及循环神经网络在自然语言处理领域取得了重大的突破,很多结合计算机视觉以及自然语言处理的任务如视频语义描述等为人机交互提供了更多的可能性。近年来,结合了上述两种任务的基于文字描述的单目标跟踪任务,其研究也受到了广泛地关注,但
学位
船舶在交通运输系统中占据着十分重要的地位,近年来随着通信技术的发展,航运业以及现代造船业也正在向着网络化、智能化的方向迈进。船舶的安全航行、规范管理的重要性也显得日益突出,这对船舶的数据监测系统提出了更高的要求。本文以船联网技术为基础,探索了通信技术在船舶远程数据监测领域应用,设计实现了基于船联网的远程数据监测系统,打破了不同船舶、不同设备之间信息互通难、数据保存难的局面。针对船端设计了船载信息采
现阶段我国面临着隧道工程建设需求扩张与盾构机产能不足的矛盾。刀盘作为盾构机开挖掘进的核心部件,对工程质量的稳定性起着决定性作用。但是刀盘焊接车间仍采用传统的人工焊接方式,这不仅存在着焊接效率低、焊接一致性差的问题,还会对焊接工人的健康造成损害,且焊接车间尚未应用现代化的信息管理系统,因此升级刀盘的焊接技术与监管手段具有重要意义。  本文来源于山东省重大科技创新项目,针对刀盘焊接过程中智能、柔性化不
学位