论文部分内容阅读
随着大数据与人工智能技术应用的发展,图像分割已成为计算机视觉研究的主要方向,并成功应用于医学、安防等多个领域。以机器学习为基础发展出了一系列图像分割算法,并在理论和应用方向取得了很大的进展和突破性成功。但是,传统的图像分割方法集中于分析单模态图像,由于单模态信息有限,影响分割精度有限,且无法实现多场景环境下的信息融合,从而限制了图像分割的应用。本文从应用研究和算法研究出发,以红外热图像与脑部磁共振成像(Magnetic Resonance Imaging,MRI)作为研究对象,借助多模态融合及机器学习算法在特征表达上的优势,提出了三种改进型多模态融合图像分割算法,并应用于实际采集数据与现有公开数据集,取得良好的实验结果。本文主要从以下几个方面进行了研究:(1)提出了一种基于多模态特征融合的红外热图像太阳能板区域分割方法,实现红外热图像目标区域的精准分割。针对红外热图像干扰复杂造成误分割问题,首先提取对比度、熵和梯度特征图,再构建多模态特征融合图,最后进行区域填充实现目标区域的分割。将算法应用于实际采集的光伏太阳能板红外热图像中。结果表明,本义算法查准率高(0.9306)、查全率高(0.9028)、F1指数(0.9144)和J指数(0.8515)均优于其它算法,且人工标记少,可有效应用于红外热图像目标区域的分割。(2)提出了一种基于3 D ResU-Net与多模态融合的MRI脑肿瘤病灶自动分割算法。针对脑肿瘤存在多区域、边缘模糊且分割困难问题,充分利用MRI各模态差异性及U-Net多尺度优势,首先通过多层卷积提取层次性特征,再进行特征拼接与融合,并加入残差网络防止梯度消失,最后重建分割掩码实现病灶分割。将算法应用于公开数据集上。结果表明,本文算法Dice(Digital Illusions Creative Entertainment)系数(整个肿瘤、核心及增强区域:0.8882、0.8667、0.6958)和Hausdorff距离(10.8776、13.9730、9.9907)优于其它算法,且在图形处理器(Graphic Processing Unit,GPU)上耗时少,有利于临床应用。(3)提出了一种基于CyclcGAN-MRI(Cyclc Generative Adversarial Networks,CycleGAN)的多模态影像生成与病灶分割算法。针对医学影像数据缺乏及多模态影像采集费时费力问题,首先通过CycleGAN-MRI算法进行无监督学习,利用生成器与判别器不断“博弈”,生成最优化的多模态影像,然后采用原始模态与生成模态融合的形式实现病灶分割。将算法应用于现有数据集上进行性能评估。结果表明,本文算法平均绝对误差(Mean Absolute Error,MAE)(T1→T2、T2→T1:2.886、2.401)、值信噪比(Peak Signal to Noise Ratio,PSNR)(25.302、24.461)均优于其它算法,且可准确实现脑肿瘤病灶分割,具有非常高的应用价值。综上所述,本文针对红外热图像与医学MRI影像,提出了三种改进型多模态融合的图像分割方法,可应用于红外热图像分割、医学辅助诊疗系统等,完成了图像分割一系列的理论研究与应用研究。