医学影像深度学习模型中的剪枝研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:bigtree16
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着卷积神经网络的发展,深度学习方法被广泛应用于医学影像分析和处理任务中。这些深度模型往往具有庞大的参数规模,普通医院与诊所难以配备相匹配的高性能显卡,使得在学术界中性能优异的深度学习模型难以部署到医院的设备上,无法为医生提供实时高效的辅助诊断结果。因此,如何在保证模型性能的前提下尽可能压缩模型,成为近些年深度学习领域关注的热点问题。结构化剪枝作为一种主流的模型压缩方法,因其压缩得到的模型有结构稀疏性且能够快速部署在传统硬件平台的特点而受到业界的关注。本文对结构化剪枝算法进行了深入研究,提出了一种智能化的剪枝算法,并尝试将其应用在医学影像深度学习模型上,主要工作如下:首先,本文在卷积神经网络借助滤波器实现图像特征提取的理论基础上,基于滤波器权重对卷积神经网络特征表达能力的影响,尝试将信息熵作为滤波器重要性评估准则;其次,基于此评估准则,针对传统剪枝方法对预训练模型的依赖问题,引入神经科学中神经元的睡眠与清醒机制,构建了无需预训练模型的剪枝框架,并通过在选择待剪枝滤波器过程中交叠的睡眠期与清醒期,降低滤波器被误删的几率;在此基础上,本文尝试将上述方法应用于医学深度学习模型中,针对医学影像数据正负样本数量极不平衡的问题,在选择待剪枝滤波器过程中引入渐进式剪枝的思想,模拟神经元从浅度睡眠到深度睡眠的过程,并对目标函数进行了优化和改进,以最小化迭代滤波器剪枝对网络性能带来的损伤,有效提升剪枝后网络的底层表征与高层语义的匹配能力,从而提高模型的泛化能力。本文分别在标准数据集和医学影像数据集上验证了所提出的新型剪枝方法及其改进方法的有效性。实验结果表明,本文提出的方法在模型时间复杂度和空间复杂度的相关指标上,都取得了富有竞争力的结果,且针对医学影像数据特点改进后的剪枝方法,性能优于传统剪枝方法和改进前的剪枝方法,从而能够有效改善现有深度学习模型部署所需硬件要求与实际医院拥有的计算平台能力不匹配问题。
其他文献
随着移动通信技术的发展,人们开始研究如何在移动终端实现目标定位、手势识别、成像等感知功能。目前,移动终端上的成像功能主要依靠光学摄像头实现,光学成像发展多年,技术成熟,但是光学摄像头容易受光线条件影响,在弱光或无光环境中难以实现成像。而基于太赫兹阵列的成像系统不受光线影响,能够实现非可视环境下的成像。太赫兹电磁波波长短的特点也易于设计出适合移动终端使用的天线。此外,太赫兹波具有的高宽带性能够实现高
学位
随着信息活动的日益频繁以及无线通信手段的日新月异,海量的信息交流难以避免地产生了大量的射频干扰源。在地球遥感应用中,由于微波辐射计所测量的大气和地表的信号较微弱,使得设备观测信号受到了严重的射频干扰源污染,进而难以反演得到精确的遥感信息。综合孔径微波辐射计的宽视场以及有限的空间频率采样导致了射频干扰源在成像结果中存在吉布斯现象,因而射频干扰源对综合孔径微波辐射计成像性能的影响更为显著。为了缓解当前
学位
目标跟踪始终是科学研究中的热点领域,随着社会的不断发展,跟踪场景变得日益复杂,多目标跟踪技术也随之得到快速的发展和应用。群目标跟踪的概念随之被提出,群目标跟踪中跟踪的目标是由多个单目标组成,它们以相同的速度或方向进行移动,如无人机群,舰艇编队等。目前群目标跟踪更是被广泛的应用在各个领域,例如智能监测、机器人视觉导航,室内定位等,随着研究的深入,越来越多基于随机集(RFS)的滤波算法涌现出来,例如概
学位
报纸
在医学图像领域,图像融合是一种重要的医学辅助技术,可以综合处理不同医学成像设备提供的图像信息,并进行有效组合,获得一幅信息更加丰富的结果图像。本文研究了基于反卷积神经网络及直觉模糊推理的CT/MRI医学图像融合算法,具体研究内容如下:研究了基于多方向梯度的直觉模糊推理CT/MRI图像融合算法。为了获得能够充分表征源图像的特征图,本文采用基于高斯方向滤波器的反卷积神经网络,根据待融合数据,设计了图像
学位
高校实验教学是学生掌握专业技能与培养解决实际问题能力的重要途径,其中,学生实验课堂表现是实验成绩评估的重要环节。但是,近年来随着学生数量的增加与实验内容复杂度的提升,单纯依靠教师已难以及时、精确地评估学生的课堂表现。因而有必要将人工智能技术融入到实验课堂教学中,通过智能视频检测方法实时识别学生的实验课堂行为,提高了课堂表现评估的精确性和实时性。本课题充分考虑大学实验课堂的具体情况和需要,为解决学生
学位
同步定位建图技术(Simultaneous Localization and Mapping,SLAM)是在未知区域中实时获取自身定位和环境位置信息的技术。目前,单目SLAM存在建图稀疏的问题和运动较快时容易发生定位丢失的问题。针对这些问题,本文对基于特征点法的单目ORB-SLAM2系统进行改进,提升了系统建图的稠密程度和部分快速运动场景下的鲁棒性。本文工作如下:(1)针对单目ORB-SLAM2系
学位
在驾驶员疲劳检测、教育和人机交互等应用领域,理解人类情绪的状态或者目的是必要的。由此,研究者向人脸表情识别投入了更多的关注。大量研究已经证明了对于解决识别任务,基于卷积神经网络方法是强大且成熟。但是,当我们把上述理论应用于多姿态人脸表情识别任务时,依然会存在很多问题。事实上,不同姿态下人脸重要的局部区域会有所不同,而现有深度学习框架中的注意力机制对这些局部区域的鉴别性信息的关注度不足;另外,人脸表
学位
近年来,各式成像设备的迅猛发展使得人们能够获取多种异源图像,将其整合并利用的前景越发广阔。图像配准技术是将异源图像拼接、融合等视觉任务提高精度的瓶颈和必要前提,也是图像处理领域的研究热点。可见光与红外光图像作为异源图像中的两种经典多模态图像,因其所处光谱的不同波段及信息互补性,其图像配准任务可以充分利用互补信息,减少场景目标的不确定性,提高后续图像分析的精度。然而,基于传统手工特征的配准方法往往对
学位
在传统舌诊的过程中,诊断结果容易受到医师经验的影响,并且还存在着交叉感染的风险。为此,本文设计了一种基于FPGA的智能舌诊系统,该系统将传统舌诊与现代图像处理技术相结合,通过摄像头采集舌体图像,并由FPGA上实现的算法处理模块对舌体的颜色特征以及性状特征进行识别,并将诊断结果显示在显示屏上。凭借着FPGA高度并行化运算的优势,大大提高了系统的运行速度,并且该系统能耗更低、体积更小,更加便于系统的部
学位