基于知识蒸馏的3D心脏医学图像分割方法研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:skychi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
医学图像分割是医学领域中非常基础且重要的任务,有助于辅助诊断和临床研究。随着深度学习的蓬勃发展,卷积神经网络(Convolutional Neural Network,CNN)方法在生物医学图像分割领域表现十分优异。但是深度学习在处理医学图像任务时主要存在两方面问题:1)医学图像数据处理困难,医学图像的模态多样化,经常存在伪影、噪声等,且不同于自然图像,医学图像获取困难,导致数据量较小。2)卷积神经网络的深度越深,往往获得的模型性能越好,但是深度太深容易导致过拟合,而且计算量和存储量大。这些问题增加了基于深度学习处理医学图像问题的难度。为了克服上述问题,研究人员提出了能够直接处理三维医学数据的3D卷积神经网络,网络的输入和输出都是三维数据。而模型压缩、迁移学习等方法解决了神经网络模型庞大的问题。其中,作为模型压缩方法的知识蒸馏得到了研究人员的关注,已成功应用于目标检测、图像分类等任务。深度学习中的知识蒸馏方法通常使用两个不同的网络结构分别作为教师网络和学生网络,教师网络选择较为复杂的网络,学生网络选择轻量级网络,学生网络利用知识蒸馏损失逼近教师网络,把教师网络的知识传递到学生网络。本文提出了一种基于知识蒸馏分割3D医学图像的方法,联合使用两种知识蒸馏的方式来提高学生网络的分割性能。首先,本文使用一个3D卷积神经网络及其轻量形式的网络分别作为教师网络和学生网络,直接处理三维医学数据。常规蒸馏算法中在分割损失的基础之上,同时引入了两种蒸馏损失来实现端到端的学生网络模型的训练,它们分别是预测标签蒸馏损失和3D结构化蒸馏损失。预测标签损失监督学生网络从教师网络输出的分割图中显式地学习预测能力。同时根据核磁共振图像具有序列性的特点,采用基于3D结构化的蒸馏方式,将教师网络中隐含的知识传递给了学生网络。再对训练出来的学生网络进行自蒸馏,研究不同的蒸馏损失方式,进一步提升学生网络的性能。最后,将本文提出的方法在数据集HVSMR2016上进行了多个消融实验,经验证在以Dice系数为主的评价指标上比原学生网络有一定的提高,同时与其他的蒸馏方式相比表现不错。
其他文献
强化学习因为与深度神经网络的结合使其可以处理高维非线性问题而成为近些年来研究的热点之一,虽然其具有良好的采样效率,但是却需要有效的探索使其达到较好的效果。而进化算法(EA)在近些年的工作中被认为是可以代替强化学习的方法之一,其具有较强的探索能力,同时由于种群的存在使其具有良好的并行性,但是其却受到采样效率低下的限制。所以二者的优缺点具有一定的互补性,因此越来越多的工作开始将两类算法进行组合,其中进
学位
不可逆电穿孔(Irreversible electroporation,IRE)肿瘤消融技术是一种新型肿瘤消融物理治疗方法,具有对大血管毗邻的肿瘤进行消融,且不损伤血管的优势。电脉冲参数是不可逆电穿孔治疗效果和安全性的关键参数,在临床应用中有多种选择,造成治疗效果的不确定性。电脉冲生物效应有无效、可逆电穿孔、不可逆电穿孔和热效应四种。可逆电穿孔的生物效应主要是细胞膜渗透性增加,不可逆电穿孔的生物效
学位
研究生党支部是高校党组织团结和引领广大青年学生的重要阵地。加强研究生党支部规范化建设是落实全面从严治党的必然要求和建设高质量教育体系的有力保障,也是推动研究生全面发展的重要力量。但目前高校研究生党支部仍存在支部设置不合理、发展党员工作流于形式、支部保障机制有待完善以及组织生活缺乏创新等问题。对支部组织建设、党员发展评价体系、支部管理方式和党内外沟通机制等进行方式方法创新,可推进研究生党支部的规范化
期刊
AIM2(Absent in Melanoma 2)作为胞质DNA感受器,可以直接识别并结合双链DNA,活化炎症小体复合物,促进白细胞介素(Interleukin,IL)IL-1β和IL-18的成熟分泌,参与宿主免疫防御。FBXW7(F-box/WD repeat-containing protein 7)是一种SCF E3泛素连接酶,在细胞分裂、生长和分化中起到重要调控作用,作为一种抑癌基因被广
学位
一直以来,身份验证都被广泛应用在生活和工作的各个方面,随着计算机科学和硬件技术的发展,身份验证技术的应用场景变得更加复杂和多样化,传统身份验证技术受到了极大地挑战,逐渐朝着向电子化、智能化发展。人体的生物学特征取样自受试者,具有唯一性、稳定性、安全性、普遍性等天然优势,因此被优先考虑用于身份验证。截至目前,指纹识别、人脸识别已经在各种场合得到了广泛应用,但都存在着一定的缺陷。虹膜生物学特征在唯一性
学位
剂量反应Meta分析(dose-response Meta-analysis,DRMA)是基于多项提供剂量反应关系数据的原始研究,对其剂量反应结果进行定量合并后得出综合剂量反应直线或曲线的一类Meta分析,广泛应用于循证证据产生及临床决策等方面。目前已发表DRMA结果的可靠性和文章质量水平不一,而且国际上暂无DRMA的统一报告规范。本研究系统梳理了DRMA的本质、各步骤统计方法及常见统计分析问题,
期刊
随着信息时代的到来,数据的表现形式越来越多样化,推理一种现象发生的可行性不能仅依靠信息拥有者有限的知识水平,需要综合考量各方面的因素,例如判断一个人消费意愿需,不能仅根据他的购买记录,要同时考虑他的购买能力,而这两种数据多数情况下并不会隶属于同一机构。上述情景便涉及到多机构联合学习的问题,传统的方式是将数据集中起来进行机器学习模型的构建。然而,然而随着国家对隐私保护的逐渐重视,以及隐私保护法律的逐
学位
关于因果关系的研究由来已久,但目前自然语言处理领域的因果关系抽取研究仍是一个新兴领域。最初因果关系抽取仅为关系抽取任务中的其中一种,但随着因果关系抽取任务的重要性逐渐显现,目前已有越来越多的研究致力于单一的因果关系抽取任务。作为一个比较新的研究方向,在因果关系抽取任务中,数据集过小是我们在研究中常常遇到的问题,其解决方式一般是使用元学习或数据增强方法。目前的数据增强方法大多数采用一套基于规则的处理
学位
语义分割是计算机视觉领域中的一个重要方向。随着医学图像分析、汽车的自动驾驶等领域的发展,语义分割任务变得越来越重要。语义分割结果的精确度越高,对于下游任务的效果越好。由于语义分割需要像素级别的图像标注,这会为数据集的准备工作带来巨大的工作量,会损耗大量的时间,因此很难对规模巨大的数据集进行人工标注。本文在已有算法的基础上提出了一种基于半监督学习的混合伪标签语义分割算法,使用半监督学习来解决像素级别
学位
医学影像产业是我国医疗器械领域中最大的细分领域。近些年来,随着人工智能技术和医学影像技术的迅速发展和大幅度进步,医学影像已经成为了临床疾病诊断、疾病治疗以及现代医学研究中一个必不可少的技术手段。在医学影像辅助诊断领域中,医生或研究人员在对内部组织器官进行定性和定量分析、病情实时监控以及未来治疗规划时,为了能够做出尽可能正确的治疗决策,通常需要了解这种组织器官的一些详细信息,因此生物医学影像已成为疾
学位