论文部分内容阅读
肺癌已成为近年来全球癌症发生率和死亡率最高的癌症,肺部图像肿块精确分割对于肺癌治疗方案的精准实施具有重要意义。相比计算机断层扫描（Computed Tomography,CT）成像,磁共振成像（Magnetic Resonance Imaging,MRI）具有更好的软组织对比度,且具有多模态成像方式,能够反映软组织生理功能变化特性,同时MRI无放射性辐射侵入,因此多模态MRI图像在肺癌检测与诊断中逐渐受到科研工作者的关注。然而医生手动分割MRI图像肺部肿块主观性差异较大,且工作量大、效率低,因此肺部肿块自动精确分割研究具有重要意义。然而肺部MRI图像肿块分割仍面临诸多挑战:（1）肺部肿块会与纵膈相邻,在单一模态肺部MRI图像中信号对比度较低,导致难以准确识别肿块和纵膈的界限;（2）当采用功能性模态图像辅助解剖学模态图像进行分割时,多模态肺部MRI图像间存在语义内容漂移,其空间匹配难度较大,使得后续多模态图像融合分割精度不高;（3）在利用多模态磁共振图像信息进行定量分析时,由于多模态MRI图像扫描时间较长,获取成对的多模态图像成本较高。针对上述挑战,本文利用深度学习方法,对多模态肺部MRI图像肿块分割方法进行了深入研究,具体如下:（1）针对与肺纵膈相连肿块边缘不清晰,分割结果假阳性较高的问题,结合DWI MRI图像肺部肿块与纵膈信号对比度较高的特性,提出了一种基于自适应多模态图像特征融合权重的肺部肿块分割方法。为融合DWI MRI图像的强对比度信息与T2W MRI模态图像丰富的肿块纹理信息,构建了多模态特征图超密集连接的双路U-net编码器,将双路U-net的所有前序特征图在通道维度上进行堆叠,以融合不同尺度多模态特征,提高多尺度互补多模态特征图的融合效果。同时,针对T2W和DWI图像特征重要性在不同病例、不同网络层上存在差异的特点,设计了一种自适应多模态融合权重模块,采用模态特征堆栈描述子,对网络编码层的多模态融合特征堆栈进行特征压缩,将压缩系数作为融合权重,对所有网络层的多模态融合特征进行重标定,以提高不同特征层的多模态特征融合效果。在T2W-DWI多模态MRI数据集上的实验结果表明,提出的分割方法取得了优于现有多模态图像融合分割方法的精度,有效解决了肺部肿块在靠近纵膈情况下分割假阳性较高的问题。（2）针对成对的T2W MRI图像和DWI MRI图像之间存在语义内容漂移,传统配准与分割两阶段算法在多模态图像肿块区域空间匹配度较低且耗时较长的问题,提出了一种端到端的多模态图像肿块空间匹配与分割联合训练网络。为了学习DWI图像与T2W图像之间肿块区域的非线性变形场,采用参数可学习的空间匹配网络模块,对肺部肿块多模态图像的预分割掩膜进行空间匹配,将训练得到的肿块区域变形场作用到DWI模态特征图。为了同时提高肿块区域空间匹配和肿块分割性能,将多模态预分割损失、肺部肿块分割损失和多模态图像肿块区域空间匹配损失联合约束模型训练。此外,为了提高不同子任务的训练效果,采用多阶段训练策略,对不同训练阶段采用不同的损失函数权重。实验结果表明,提出方法可以有效克服DWI图像与T2W图像之间的语义内容漂移问题,提高了多模态特征融合的肺部肿块分割性能,以及多模态特征图配准和分割的工程效率。（3）针对DWI MRI图像辅助T2W MRI肺部图像肿块分割任务中,多模态图像数据获取代价高,且模态图像间存在较大语义内容漂移的问题,提出了一种基于混合模态图像生成的肺部肿块分割方法,通过T2W图像生成肿块对比度高且纹理丰富的混合模态图像,以辅助T2W图像肺部肿块分割。在该方法中,设计了基于语义循环一致性的图像条件变分自编码器,在学习到DWI模态分布特性后,仅利用T2W图像作为生成模型的语义条件,即可实现混合模态图像生成。为训练生成器生成具有DWI模态特性且与T2W结构信息一致的辅助模态图像,采用T2W图像作为变分自编码器的生成条件,将T2W图像重建误差作为生成器的语义循环一致性损失,与混合模态图像的生成损失和生成模态辅助分割损失,共同约束模型生成与T2W图像空间结构匹配,肿块区域具有DWI图像高信号对比度特征的混合模态图像。实验结果表明,与现有多模态图像分割方法相比,提出方法取得了更优的肺部肿块分割性能,有效解决了成对多模态图像获取成本较高的难题。