论文部分内容阅读
目的:通过比较不同深度学习（deep learning,DL）结构（Res Net,Conv Next and vision transformer（VIT））、图像处理策略、磁共振序列和数字型数据的不同输入组合,提高DL模型术前预测胶质瘤亚型的准确度。方法:研究纳入了211名胶质瘤患者,其中星形细胞瘤、少突胶质细胞瘤及胶质母细胞瘤分别为54,67,90例。所有病人都在术前接受了标准MRI检查,包括T1、T2、T2-FLAIR、T1增强（T1-weighted post-contrast,T1c）及弥散成像（diffusion weighted imaging,DWI）检查。按照约6:2:2随机划分数据集,最终训练集、测试集及验证集病人数量分别为139、32、40,并保证在训练集、验证集与测试集中三种胶质瘤基因亚组的比例与三种亚组在所有纳入病人中所占比例大致相同。所有图像经过配准及标准化之后,选取轴位肿瘤面积最大层及上下相邻5mm的层面,共3层,作为切片输入。最后从上述五种MRI序列图像中选择不同的三种MRI序列灰度图像融合为RGB（Red、Green、Blue）图像作为单张切片输入。比较三种不同图像处理策略的分类效能:A.比较颅骨去除与颅骨保留两种图像处理方式;B.比较仅全局图像信息与添加额外病灶ROI信息两种不同图像输入方式。C.比较两种不同切片模式:（1）以切片为单位输出,即将每一病人每张切片当作单个输出;（2）以病人为单位输出,即将同一病人连续3张切片当作单个输出。比较三种不同网络结构的分类效能:Residual Networks（Res Net）,Conv Next及Vision transformer（Vit）,其中Res Net,Conv Next为卷积神经网络（convolutional neural networks,CNN）,Vision transformer为变压器（transformer）结构。此外,比较了两种不同迁移学习策略:第一种迁移学习策略在原网络全连接层后加入1000到3映射的全连接层;第二种迁移学习策略删除原有全连接层预训练权重,重新训练全连接层。所有迁移学习权重使用ILSVRC2012数据集（Image Net-1K）上预训练权重。采用Res Net与第一种迁移学习策略比较不同图像处理策略与图像序列组合对于深度学习模型准确性的影响。之后通过相同图像组合（ADC,T1c,T2-FLAIR）比较第二种迁移学习策略下三种不同网络结构效能。选出表现最好图像分类模型合并数字型数据重新训练,得到最终分类模型。数字型数据包括:年龄、性别、肿瘤位置、T2-FLAIR不匹配现象、肿瘤强化程度及肿瘤边界清晰度。通过准确率与受试者工作特征曲线（receiver operating characteristic curve,ROC）进行模型评估;依据Grad CAM解释模型关注区域。结果:1.使用Res Net模型与第一种迁移学习策略,相比颅骨保留处理,颅骨去除处理使模型准确度提升5%;相比仅输入全局图像信息,加入病灶ROI信息处理使模型准确度提升10%;相比以病人为单位输出,以切片为单位输出减少了单个病人信息量,但相对增加了数据量,使模型准确度提升了25.0%。2.使用Res Net34模型与第一种迁移学习策略,ADC、FLAIR及T1c图像组合获得了最高预测准确率（67.5%）。T1,T2,ADC图像组合模型准确度较仅使用T1、T2图像,预测准确率提升了10%;T1、T2、T1c图像组合模型与T1、T2、ADC图像组合模型准确度相同。在所有模型之中,少突胶质细胞瘤与胶质母细胞瘤诊断准确率相当,星形细胞瘤诊断准确率最低。3.使用ADC、FLAIR及T1c图像组合并第二种迁移学习策略,三种网络结构中Res Net效果最佳。相比于纯图像模型,采用Res Net图像模型合并数字型数据作为输入,使模型准确率提升了10%（70%）。同时,在使用相同网络结构前提下,第一种迁移学习策略准确率高于第二种迁移学习策略。4.Grad CAM展示了ADC、T1c与T2-FLAIR序列组合输入的热力图。模型感兴趣区域位于病灶区域,包括T1c强化区域、T2-FLAIR高信号区域与ADC信号异常区域。结论:颅骨去除、额外加入病灶ROI信息和以切片为单位进行训练等策略可提升模型效能。ADC图像输入提高了模型的整体准确性,进一步强调了添加映射肿瘤生物学行为的序列的必要性。在病人数量较少情况下,轻量网络结构（Res Net34）具有更好的拟合效果。当使用同一数据集时,合并以往研究公认的胶质瘤亚型特征的定量数值数据提高了模型准确度。