论文部分内容阅读
随着当代医疗技术的不断提高,外科手术已经迈入革命性的时代,正向着微创化、数字化及智能化方向转变。计算机辅助手术作为数字化微创外科手术革命的初始已经广泛活跃在外科治疗的前沿领域,同时手术工具检测和手术流程识别分别是计算机辅助手术领域重要的研究课题。在计算机辅助的微创手术系统中,手术工具检测算法可以为医生或者辅助机器人提供准确、实时的信息,例如轨迹、位置信息等,然后帮助外科医生制定最佳的手术规划或者提前手术预警,从而减少患者并发症,使手术更安全。此外在手术过程中进行手术流程识别有利于提高手术效率,并协助经验较少的外科医生做出正确决策,而且对完整的手术视频进行自动手术流程识别有助于外科医生的技能评估和手术视频数据库的索引。然而传统的手术工具检测算法大都存在不够精确、耗时、昂贵、占用较大手术室空间的缺点,因此基于深度学习的手术工具检测算法的出现,为计算机辅助手术的发展增添了新的动力。但是很遗憾目前的手术工具检测算法达不到精度与速度并进,同时极少数研究者关注帮助手术程序标准化的自动手术流程识别。基于实际需求,本文主要设计了基于深度学习既快又准的手术工具检测算法和手术流程识别方法,主体工作如下:(1)构建真实手术场景下的数据集:当前研究所提出的手术工具检测算法大多是基于ATLAS Dione和EndoVis挑战赛数据集的,前者视频是模拟手术场景;后者虽然是真实手术视频,但手术工具移动速度很慢,无法代表常规手术场景中复杂的情况。因此本文对Cholec80数据集的视频进行手工标注,得到了一个新的带有定位信息的Cholec80-locations数据集,该数据集是在具有复杂性的真实手术场景下获得的。
(2)设计两种手术工具检测算法:本文设计了一种一阶段轻量级的无锚边盒卷积神经网络模型,利用经典的火模块替换原来沙漏网络中的残差结构,同时通过手术工具的中心点得到手术工具的边界框不需要后处理过程。通过对比实验表明,该方法极大的削减了训练卷积神经网络模型所需要的参数,实现检测手术工具过程中对准确性和实时性并存的需求,明显优于其他几种基于深度学习的手术工具检测算法。另一方面,本文设计了一种基于卷积化长短期记忆和卷积神经网络的手术工具检测算法,该算法结合多尺度思想,同时利用图像的时空信息,既快又准的完成手术工具检测任务。本文还通过处理手术工具检测算法的输出信息(存在,类别,位置),得到在手术视频里手术工具的使用信息(热度图,动作时间线,运动轨迹图等)为评价外科医生的手术技能提供数据支持。
(3)提出自动手术流程识别算法:由于检测当前视频帧中存在的手术工具种类是判断当前手术流程的依据之一,本文还进一步提出了一种端到端可训练的提取视频图像时空信息以输出手术流程的识别算法。该算法采用了残差网络和独立循环神经网络,是输出手术工具存在性信息和手术流程阶段的双分支结构。本文通过召回率、F1分数、混淆矩阵等评估指标对多种手术流程识别算法进行对比实验分析,最终实验结果证明,该研究优于使用长短期记忆的网络模型,而且识别效果更准确高效。
(2)设计两种手术工具检测算法:本文设计了一种一阶段轻量级的无锚边盒卷积神经网络模型,利用经典的火模块替换原来沙漏网络中的残差结构,同时通过手术工具的中心点得到手术工具的边界框不需要后处理过程。通过对比实验表明,该方法极大的削减了训练卷积神经网络模型所需要的参数,实现检测手术工具过程中对准确性和实时性并存的需求,明显优于其他几种基于深度学习的手术工具检测算法。另一方面,本文设计了一种基于卷积化长短期记忆和卷积神经网络的手术工具检测算法,该算法结合多尺度思想,同时利用图像的时空信息,既快又准的完成手术工具检测任务。本文还通过处理手术工具检测算法的输出信息(存在,类别,位置),得到在手术视频里手术工具的使用信息(热度图,动作时间线,运动轨迹图等)为评价外科医生的手术技能提供数据支持。
(3)提出自动手术流程识别算法:由于检测当前视频帧中存在的手术工具种类是判断当前手术流程的依据之一,本文还进一步提出了一种端到端可训练的提取视频图像时空信息以输出手术流程的识别算法。该算法采用了残差网络和独立循环神经网络,是输出手术工具存在性信息和手术流程阶段的双分支结构。本文通过召回率、F1分数、混淆矩阵等评估指标对多种手术流程识别算法进行对比实验分析,最终实验结果证明,该研究优于使用长短期记忆的网络模型,而且识别效果更准确高效。