基于深度学习的无线胶囊内镜视频异常模式检测及去冗余方法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:shanyuqi0513
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无线胶囊内镜(Wireless Capsule Endoscopy,WCE)是自视频内镜取代光纤内镜以来最重要的内镜创新。由于其具有诸多优点,特别是无痛和无创检查,无线胶囊内镜已成为用于诊断和评估小肠疾病的首选方法。然而,伴随着该项先进技术,仍有诸多挑战需要解决。一个主要问题是,在一次的病人检查中,WCE将为整个消化道生成大量具有高相似度的WCE图像,然而仅有很小一部分的图像数据对诊断是有用的。这对于一个经验丰富的临床医生来说,手动查阅这些WCE视频帧是费时的和困难的,并且可能还会遗漏某些重要的异常信息。另外一个主要问题是,尽管自2001年WCE被批准进入临床以来,用于分类异常图像和节约医生查看时间的方法被提出以提高WCE疾病的诊断率。然而在涉及WCE病变区域检测方面的工作,还鲜有文献报道,特别是采用深度学习技术的文献报道更少。此外,在实际的临床实践上,医生总是想要确认由计算机技术产生的检测结果,而不愿承担任何在WCE检查中遗漏重要内容的风险。这对计算机技术的有效性和可靠性提出了更高的期望。这些问题激发我们去探索、实验和开发新的、可靠的计算机辅助诊断方法以便提供安全有效的检查结果,帮助临床医生尽快发现问题图像,实现减少查阅图像工作量,提高工作效率的目的。为此,从WCE视频图像异常模式检测和冗余去除两个任务方面,基于深度学习技术开展了如下三个主要的研究工作。(1)深度卷积神经网络用于WCE图像异常模式检测。本工作尝试使用卷积神经网络来实现WCE病变区域的检测任务。为此,从CNN网络结构、区域建议和迁移学习等方面采用了多种方法来提高模型的异常模式检测性能。首先,提出了一个深度级联网络模型(Cascade Proposal),该模型由一个区域建议拒绝模块和一个检测模块组成;其次,使用多区域组合方法产生良好的区域建议覆盖;再者,使用密集区域融合方法对目标边界进行细化和使用显著区域分割获取准确的区域位置;最后,引入负样本类和迁移学习策略提高模型泛化性能。在训练阶段,使用由多区域组合方法生成的区域建议以端到端的方式训练所提出的深度级联网络,以便生成少数量的具有高召回率的区域建议,并使用了负样本类和迁移学习策略,以便加速模型训练过程和提高模型泛化能力。在测试阶段,使用密集区域融合和显著区域分割方法提高检测精度。在我们的包含有7,000多已标注的WCE2017图像数据集上全面评测了所提出的模型和方法。实验结果表明,方法对WCE异常模式检测是有效的并且能够获得较高的定位精度。(2)基于对抗学习的无监督WCE视频摘要。本工作考虑无监督的WCE视频摘要,将其作为一种序列到序列的学习问题。其关键思想是学习一种深度摘要网络,以一种无监督的形式最小化训练视频和其摘要之间的信息损失。为此,提出了一种混合且有效的无监督WCE视频摘要方法,该方法基于长短时记忆网络LSTM、变分自编码器、指针网络、生成对抗网络以及去冗余机制等技术。所提出模型称为Adv-Ptr-Der-SUM,采用了生成对抗学习框架,由摘要器和鉴别器组成。摘要器采用了基于变分自编码器的LSTM网络结构,结合了指针网络和去冗余机制,其主要目标是学习输出序列的条件概率并提供一个紧凑摘要。鉴别器是另外一个LSTM网络,其目的是区分原始视频以及来自摘要器的重构视频。摘要器和鉴别器以对抗的形式训练以便优化摘要器并生成最优的WCE视频摘要。在我们的WCE-2019-Video视频数据集上,全面地评测了所提出的方法。广泛的实验结果表明,方法在有监督和无监督的条件下,与其他的摘要方法相比都具有竞争性,或者表现更好。此外,所提的方法被应用于两个公开的多媒体基准数据集:Sum Me和TVSum,验证了方法的有效性和一般性,表明了该方法能够获得一个具有竞争力的结果。(3)基于对应匹配和运动分析的WCE视频序列去冗余。本工作提出一种去冗余方案(SS-VCF-Der)。该方案考虑将两个连续WCE帧间的流场估计应用于WCE成像运动分析,然后根据运动分析的结果处理WCE去冗余问题。为此,首先提出一种自监督技术,在没有人工监督的情况下,从大量原始的WCE视频中学习帧间视觉对应表示,然后预测流场。其核心思想是利用WCE视频中颜色的自然时空相干性和时间的循环一致性作为监督信号,从零开始学习WCE视觉对应关系。这个过程称为自监督的视觉对应流学习(SS-VCF)。在训练阶段,使用三种损失:前后循环一致性损失、视觉相似性损失和颜色损失来训练和优化模型。在测试阶段,使用获得的表示在两个连续的WCE帧间生成一个流场来分析帧间像素移动。此外,根据得到的流场估计,计算两个连续帧间运动场的运动强度作为提取的运动特征,并使用所提出去冗余方法(SS-VCF-MI),选择一些局部邻域场景变化明显的帧作为关键帧,从而实现去冗余的目的。在我们的WCE-2019-Video视频数据集上,全面地评测了所提出的方法。大量实验结果表明,模型和去冗余方法能够取得很好的结果,验证了整个去冗余方案的有效性,包括模型在WCE视频的视觉对应表示方面和去冗余方法在WCE视频去冗余方面的有效性。
其他文献
大量岩土材料的CT成像、偏光显微镜成像和电子显微成像表明,岩土体内不规则的颗粒形态、多样的颗粒矿物组分、繁杂的颗粒统计信息(粒径、倾角、长短轴比等),以及复杂的颗粒空间分布特征,共同组成了绚丽莫测的岩土体细观结构。因而需要建立同时满足目标颗粒形态、颗粒组成、颗粒统计信息,以及颗粒空间分布的多目标颗粒堆叠,并以此建立可计算的岩土体精细化数值模型。为解决以上问题,本文将岩土体划分为岩石、颗粒堆积体、混
汽车保有量的快速增长给人们的生活带来了巨大的便利,极大地提高了社会运转效率。但随之而来的是道路安全事故的增加,严重的交通堵塞以及能源与环境问题的恶化。作为解决这些问题的潜在手段,智能汽车受到了各界的广泛关注,被视为将在未来改变世界的革命性技术。近年来,得益于传感技术、计算机技术、通信技术、芯片技术的快速发展,自动驾驶的可行性已日益完备。但是,若要实现真正的产业化,仍有许多亟待解决的技术难题。本文就
注水开发油田注水耗能是油田生产过程中的重要用能单元。通过对某油田某采油厂作业区注水系统现状的介绍,分析了注水系统各个节点,提出了加强节点管理的各项优化措施,并对综合效果进行评价等。实践证明,通过开展注水系统节点分析,加强节点优化管理,采取优化注水泵开泵组合、注水管网综合治理、冲洗管线等各节点优化管理措施,平均泵效提升了0.6%,泵干压差降低了0.5%,管网效率提升了0.7%,注水系统提升了1.9%
泡菜是我国优势传统发酵食品的典型代表,因其清香、嫩脆、爽口的独特风味深受大众喜爱,经久不衰,远销日本、韩国、美国等国家和地区。随着消费升级,人们对健康的需求,挑战着传统泡菜及其生产方式,在传承的同时需要创新,为更好地保持原品质,改变发酵加工方式,是产业发展的趋势。浅发酵与冷加工不仅能提升产品品质,而且可以解决泡菜后酸化的问题,也能顺应当今国际倡导的低酸、低盐化的要求。本文据作者研究团队多年的持续研
针对油田中注水泵能源消耗大同时注水的需求,分析注水控制方式中传统控制的问题,采用模糊PID控制规则,对注水井流量控制和变频器转速控制分别搭建模型,根据仿真模型分析两种控制算法下的超调量、调节速度、抗干扰能力等。根据结果可知变频器转速控制和注水井流量控制,模糊PID比传统控制效果好、抗干扰能力强,使得注水泵更加节能,为了提高油田注水的效率,减少注水能源消耗,达到节能减排目的,进行油田注水精细化控制研
目的 探讨60岁以上老年流感患者临床特征,分析进展为危重症流感患者危险因素,为临床早期识别高风险人群和干预提供依据。方法 回顾性分析2018年1月-2019年12月283例60岁以上流感老人的临床资料,根据临床表现分为危重症组、非危重症组两组,分析其临床特征。结果 在纳入研究的流感老年患者中,危重症组132例,非危重症组151例。危重症组男性明显多于女性,住院时间明显延长,患冠心病、COPD、肺结
肌腱病(tendinopathy)的患病率近年来在世界范围内持续上升,给人们带来巨大经济负担和精神压力,不同程度降低了人类生活质量。现有治疗方案仍无法对该类疾病实现治愈,动物模型是研究肌腱病的重要工具,在肌腱病病理生理改变以及治疗方式的研究中发挥至关重要作用。本文综述了近些年国内外肌腱病动物模型研究现状,探讨了几种常见造模方案的优缺点,同时对造模动物和造模部位的选择、损伤肌腱的改变进行了阐述,旨在
多学科合作模式是糖尿病足治疗和预防的最佳模式,不但可以为糖尿病足病人提供最佳诊疗方案,降低截肢率和溃疡复发率,还可以快速筛查、预测和识别糖尿病高危足病人,并进行教育和监测,有效预防足溃疡的发生和复发,减轻病人家庭、医疗保健体系和社会的负担。为进一步规范和指导多学科合作模式下的糖尿病足防治临床实践,江苏省医学会组织糖尿病足相关的多学科专家共同编写《多学科合作下糖尿病足防治专家共识(2020版)》,并
低质量的空气已经成为影响人类健康的重要因素,有效的城市通风是缓解城市低质量空气的重要手段。因此,对城市通风效果的评价以及借助于城市规划设计手段对城市通风效果进行优化在改善人居环境,保障人类健康生活层面具有重大意义。论文主要研究城市规划设计、城市风环境以及城市空气质量之间的关联关系,采用了实证研究与数值模拟相结合的研究方法,首先借助于计算流体力学(computational fluid dynami
从“加力提效”到“提质增效”,中国经济进入高质量发展阶段,提升发展质量、提高治理效能成为新发展理念下的目标之一。“十四五”规划要求健全国家公共服务体系,推动非基本公共服务提供主体多元化、提供方式多样化,鼓励社会力量通过公建民营、政府购买服务等方式参与公共服务供给。全面实施预算绩效管理是经济质量与社会治理发展的重要检验方式,政府购买服务绩效管理又是贯彻落实中共中央、国务院全面预算绩效管理改革的重要内