【摘 要】
:
现代手术室精密的硬件系统和丰富的传感设备为手术场景关键内容解析方法的发展提供了良好的先决条件。基于实时手术视频等信号,手术场景自动解析主要实现工作流程,器械、行为、目标组织,和手术动作三元组识别等功能,在术中,提高手术室人员的信息决策能力、特殊情况应对能力,从而避免错误操作,减小并发症发生的可能;在术后,提供高效的手术报告生成和分析功能。然而,手术情景相对自然场景具有组织表面相似度高、医生执行手术
【机 构】
:
中国科学院大学(中国科学院深圳先进技术研究院)
【出 处】
:
中国科学院大学(中国科学院深圳先进技术研究院)
论文部分内容阅读
现代手术室精密的硬件系统和丰富的传感设备为手术场景关键内容解析方法的发展提供了良好的先决条件。基于实时手术视频等信号,手术场景自动解析主要实现工作流程,器械、行为、目标组织,和手术动作三元组识别等功能,在术中,提高手术室人员的信息决策能力、特殊情况应对能力,从而避免错误操作,减小并发症发生的可能;在术后,提供高效的手术报告生成和分析功能。然而,手术情景相对自然场景具有组织表面相似度高、医生执行手术操作差异性大等问题,从而难以提取独立于手术背景中无关信息的时空融合特征。尽管前人已从若干角度尝试解决手术场景解析各项任务中的难点并取得了一定进展,现有方法仍不能达到满足外科手术安全性需求的精度和解析水平。因此,本文针对课题难点和现有工作的局限性,提出了以下方法进行解决:在手术工作流识别问题上,针对手术视频中的时空不一致性和单层级工作流的局限性,提出了一种基于对比学习的联合步骤-阶段映射函数的循环卷积网络。该网络利用分散注意力模块提取场景中更丰富的空间细节特征,在多层级分支利用步骤-阶段映射函数和长短时记忆网络实现双层级工作流识别,在对比分支引入三元损失函数解决困难帧上时空不一致性造成的类内差异大和类间差异小的问题,最终引导网络学习具有细粒度特征识别能力又能对抗时空不一致性的时空融合特征。在白内障超声乳化消融术数据集进行验证,不增加计算量的同时加快了模型收敛速度,提高了工作流程识别精度,达到94.74%的F1得分,方法在2020年MICCAI手术工作流识别竞赛取得第二名。在手术器械、行为和目标组织识别问题上,针对手术场景中关键内容的细粒度特性,提出一种基于多标签互通道损失的通用识别方法。多标签互通道损失利用区分性模块和多样性模块,在特征层实现类别对应的视觉特征解耦。区分性模块将特征分组并利用区分性函数生成对应类别的概率。多样性模块使同一分组内部的通道分别关注到不同区域,寻找与特定类别相对应的图像局部细节特征。在腹腔镜胆囊切除术公开竞赛数据集进行实验,在器械、行为和目标组织上分别达到82.10%,51.10%和45.50%的平均精度,相较于SOTA方法分别达到4.6%,3.7%和4.0%的提升,显示出其提取细粒度空间特征的能力。在手术动作三元组识别问题上,设计空间映射函数和联合损失两种多任务学习策略用于融合手术动作三元组识别子任务下的时空特征,提出一种基于多任务学习的网络结构。通过引入多任务分支和长短时记忆网络模块捕获时间维度上的运动信息,生成给定视频序列的时空融合三元组特征。实验结果表明,多任务网络能取得更好的分类性能,证明了三元组的各个组成成分之间的相关性有利于场景中三元组内容的解析。在公开的竞赛数据集上达到66.58%的Top 5准确率和35.8%的平均精度,超过现有SOTA方法3.1个百分点,并在2021年MICCAI三元组识别竞赛提交的十九种方法中排名第二。
其他文献
嗜热链球菌(Streptococcus thermophilus,S.thermophilus)是食品工业常用的乳酸菌菌种之一,广泛应用于发酵乳生产。γ-氨基丁酸(gamma-aminobutyric acid,GABA)有降血压、增强免疫力、改善睡眠、缓解焦虑等功能。该菌种部分菌株能够合成GABA,但当前主要集中在应用研究,而GABA相关合成机制研究较少。因此明确嗜热链球菌中GABA生物合成机制
m6A是一种RNA上的表观遗传修饰,参与真核生物基因表达的转录后调控。研究表明,各种组织器官中,脑组织有最为丰富的m6A含量,这提示RNA甲基化修饰在中枢神经系统(Central Nervous System,CNS)的发育及功能上可能起着关键的作用。参与m6A修饰过程的加甲基、去甲基和识别功能的蛋白主要是写入蛋白、擦除蛋白和阅读蛋白,这些功能蛋白在CNS中也有普遍的高表达。过去十多年,大家围绕m
全球化背景下的当今,人们对于世界已进入普遍交往这一客观现象达成共识,各个国家都处于普遍交往的联系中。发展中国家在一定程度上摆脱了过去百年的时间里,发达国家对其全方位的碾压,享受并利用到经济全球化的红利,实现了以经济发展为代表的多方面大幅度的进步,发展中国家相应地想要在国际交往中获得更多利益以及话语权。发达国家感受到新兴国家的威胁,为保持自己的领先地位,不愿意放弃自己的固有利益,导致国际交往不正义的
甜菜是重要的产糖作物,但因其为无限花序,并且花蕾较小,人工授粉难度较大。利用甜菜细胞质雄性不育(cytoplasmic male sterility,CMS)杂交可以有效解决这一问题,提高甜菜产糖量。目前,关于甜菜CMS的细胞学、转录组学、蛋白质学都有相关研究,但是在表观遗传学方面还需要进一步研究。DNA甲基化是重要的表观修饰方式之一,是研究植物雄性不育的重要方法。本研究通过分子标记技术鉴定甜菜育
计算机科学的进步和计算力的发展带来了人工智能的第三次浪潮,人工智能技术正影响着社会多方面的变革,创新型医疗健康方法正是其焦点领域之一。但人工智能在医学领域细分方向上的应用始终面临着一些不容忽视的技术难题,其中标记数据集匮乏和针对性模型缺乏的问题尤为突出。鉴于脑血管相关疾病在临床上量化、诊断、监测、治疗及预后等的迫切需求,本工作聚焦于人体生命活动中极为重要的脑血流自动调节领域,针对患者个体脑血流自动
近年来计算机视觉方向的算法越来越多地将研究目光从图片转向了视频,人们设计了一系列子任务促使算法更好地理解视频内容,包括以人类活动为中心的动作识别、动作定位、动作预测等。在深度学习的推动下,动作识别任务的精度被一步步提升,然而动作预测仍然是个大难题,预测总是充满着不确定性,如何对视频中的动作模式更好地建模仍然有待探索。本研究针对数据所做的标注分析,并非提出一个新数据集,而是对现有数据集扩展和再探讨,
土地盐渍化已经成为影响作物生长的主要因素之一,如何提高植物耐盐性已成为当前研究的重要课题。甜菜作为一种主要的糖料作物,主要分布在我国的黑龙江、新疆、内蒙古等地,与高盐碱土壤区有部分重合,在这种土壤条件下更需要对提高其耐盐性进行深入研究。实验室对甜菜进行全转录组分析,发现ATP硫化酶(ATP-sulfurylase,ATPS)基因和生育酚环化酶(tocopherol cyclase,TC)基因在盐胁
当前,各类新兴光电信息技术快速发展,开发高效和智能的新型光电器件与系统成为研究者们孜孜以求的目标。在这一目标的指引下,选择并设计先进的器件架构和新颖的光电材料成为未来信息技术发展的主要趋势。其中,二维有机-无机杂化钙钛矿已成为各类光电子器件的杰出候选材料之一。它结合了二维材料和钙钛矿材料各自的独特优点,例如二维材料特有的层状结构特性、钙钛矿优异的材料可调性、较高的光吸收系数、高迁移率等,在性能提升
壳聚糖作为自然界中唯一存在的碱性多糖,具有良好的生物活性,然而其高分子量和聚合度限制了其在功能性食品中的应用,相比于壳聚糖,壳寡糖是由壳聚糖解聚得来的一种完整保留壳聚糖的高活性寡糖,但低聚合度壳寡糖的工业生产过程还存在一系列待改进问题。目前研究主要通过物理法、化学法和酶法降解壳聚糖得到壳寡糖。其中化学法污染环境、酶解法原料成本高昂及时间投入大。本研究通过化学法结合酶解法协同降解壳聚糖,旨于弥补单一
受自然界中生物的柔性运动方式启发,胶体马达的结构设计也逐渐由传统的刚性结构拓展为灵活可变的柔性结构。与具有刚性结构的胶体马达不同,依靠自身弯曲或形变而进行运动的柔性胶体马达凭借其自由度较高等独特优势,表现出了不同于以往刚性胶体马达的运动机制,较大程度地拓展了胶体马达的应用前景,并提高其在复杂环境下执行功能化任务的能力。但由于受到自身尺寸的限制,胶体马达的可控运动设计及其运动控制一直是研究的难点。在