克罗恩病是一种肠道炎症性疾病,在胃肠道的任何部位均可发生,其特征是持续的肠壁溃疡,临床表现为腹痛、腹泻、腹块、瘘管形成和肠梗阻,可伴有发热、贫血、营养障碍及关节、皮肤、眼、口腔黏膜、肝脏等肠外损害。克罗恩病的诊断可通过视频胶囊内窥镜(videocapsule endoscopic)从患者肠胃中获取肠壁清晰、完整的图像,然后由专家依据病变特征通过获取的图像进行人工判断。由于该设备会在病人体内停留长达7至8小时,所获取的图像数据数量较为庞大,因此,专家诊断过程中的工作量变得非常大。最近,卷积神经网络CNN在其他领域的成功应用为克罗恩病图像诊断提供了一种可行途径,一些方法基于CNN学习病理特征并对初始视频胶囊内窥镜的数据进行分类,挑选出含有病变信息的图像供专家诊断及定位。即便如此,专家还需要逐一对肠道图像中的病变位置进行定位,无疑也是一个不小的工作量,所以研究能检查出病变信息并能对其位置进行预测的可行方法开展研究具有重要意义。传统的目标分割(Target Segmentation)网络可以实现识别图像中的目标区域并对其进行分割,从而达到定位的效果,但训练该类网络需要花费大量成本对数据集中的目标区域进行人工标记,这无疑增加了研发上困难,进而导致难以在实际中应用。本课题针对训练难、标注数据集成本过大的问题,基于生成对抗网络GAN(Generative Adversarial Networks)对肠道内窥镜视频中的病变区域实现自动识别和定位方法进行了研究。该方法运用GAN在图像修补领域的应用,以滑动掩码窗对图像进行逐一遮掩并对修补重建被遮掩的像素,从而抹去需要检测的目标,结合CNN分类网络逆向预测出目标所在区域的位置信息。该方法所采用的GAN网络,在训练过程中具有无监督的特性,即整个装置训练过程中无需对训练集进行位置信息的标注,从而很大程度上减少了人工对训练集标注的成本。实验表明:在对肠道内窥镜视频中的克罗恩病变位置检测的运用中,取得了较为可观的效果。本论文提出的基于GAN对肠道内窥镜视频中的病变检查及定位的方法可分为三个模块:1)目标检测模块,用健康和存在病变的数据集训练CNN二分类网络,实现检测图像中是否存在病变信息;2)目标修补模块,仅用健康肠道的图片作为训练集训练基于GAN的图像修补网络,使网络能将肠道图像中缺失的像素重构成健康肠道壁图像;3)热量图(Heat Map)生成模块,即目标位置预测模块。该结合检测和修补模块,采用逆向思维,以检测模块所检测出存在病变的图像作为输入,采用滑动掩码窗口的形式对图像进行局部遮盖和并修复其中内容,旨在将病变肠道壁修复成健康肠道壁,每次生成的图像传回检测模块,重新检测存在病变的概率并与原始病变概率进行对比,从而生成热量图预测病变存在的位置。整体系统流程为:肠道图像首先进入目标检测模块,被检测出存在病变的图像将被滑动掩码窗遮盖并传入目标修补模块中,同时初始化病变热量图,修复完成后的图像将再次传入目标检测模块中计算出新的病变概率,热量图生成模块将根据图像修补前后的病变概率变化以及当前滑动掩码窗的位置对病变热量图进行更新,随后滑动掩码窗移动至下一步并重复修补、检测、热量图更新的步骤直至滑动掩码窗扫描完整张图片。基于GAN对肠道内窥镜视频中的病变检查及定位的方法可分为三个模块的具体内容如下:目标检测模块的研究工作:目标检测模块是由卷积神经网络CNN构成的二分类网络,对肠道图像是否含有病变信息进行分类。该模块的所采的网络来自南特大学同一研究团队的学生Lucas Pagano,网络含有12层卷积层、5层池化层和2层全连接层,并以块(block)的形式堆叠而成,每个块含有2个卷积层组成,块与块之间由池化层连接,所有卷积层的卷积核均为5*5。在本课题研究中,为了证明该网络对病变信息有较好的泛化和分类能,共进行了3次训练实验:1)仅使用GIANA数据集;2)仅使用Crohn2012数据集;3)同时使用GIANA和Crohn2012数据集。每次实验都将各自所采用的数据以7:2:1的比例分为训练集、验证集和测试集,保持超参数一致的情况下在NVIDIA GTX 1080 GPU进行训练,测试准确率分别为:1)97.80%;2)87.30%;2)88.32%。该网络对于病变信息分类的效果较为理想,符合整体系统所需的基本要求,所以本研究课题的大量工作放于搭建GAN修补网络和构建热量图生成模块的可行方案上。目标修补模块的研究工作:目标修补模块由基于生成对抗神经网络GAN的图像修补网络组成,目的是使修补网络学习到如何修补健康的肠道壁,用于修复肠道病变信息而后逆向预测其区域。GAN是由Ian J.Goodfellow等人提出的一种无监督网络框架,发于自博弈论中的二人零和博弈(two-player game),即一方有所得,另一方必有所失,并包含生成模型G(Generative model)和判别模型D(Discriminative model)两个模型:生成模型G用于捕获真实的样本分布,以随机的噪声或者样本作为输入,生成特定的图片作为输出;判别模型D为一个二分类的神经网络,用于判别输入的图片样本是否来自于真实的样本分布。GAN一经问世就引用众多学者的关注,在随后发展中衍生出多种网络结构,如CGAN(Conditional GAN)、DCGAN(Deep Convolution GAN)、LAPGAN(Laplacian Pyramid GAN)、WGAN(Wasserstein GAN)、SNGAN(Spectral Normalization GAN)、SAGAN(Self-Attention GAN)等等。GAN图像修补是GAN领域中较为成功的应用。图像修补是指将图像中部分像素缺失的信息进行重构,使之成为合理的、真实的完整图像。在本课题研究中,该网络仅使用健康的肠道数据集,位置随机的40*40大小掩码对数据进行遮掩,遮掩后的数据图像和原始数据图像作为训练集,用于迭代训练GAN修补网络。在本课题研究中,首先我运用本研究中的肠道数据集对图像修补领域中修补表现较为突出的DCGAN、SAGAN以及部分卷积生成网络PCONV进行复现,分析网络特性和实验结构后,提出自己的创新点并搭建了:1)PCGAN,引入部分卷积的生成对抗修补网络;2)APGAN,引入注意力模块和UNet网络结构的成对抗修补网络;3)PAGAN,引入注意力模块和Coarse-refinement网络结构的成对抗修补网络;4)PRGAN,结部分卷积的残差生成对抗修补网络。在相同训练环境下分别训练了以上网络,并使用定性和定量的模型测量方法对以上所有网络进行了详细的对比,最后本研究中所搭建的PCGAN在综合指标上表现较为突出,所以采纳该网络作为目标修补模块的核心网络。热量图生成模块的研究工作:目标区域预测模块则是结合病变检测模和目标修补模块,采用逆向思维,将病变区域修补成健康肠道壁,通过本课题研究所提出的病变热量图更新算法,根据前后病变概率的变化生成并更新对应肠道图像的病变热量图来预测病变位置。热量图为初始值为0的灰度图像,经过迭代更新后,数值高的区域显示较为明亮,代表该区域存在病变的可能性较高。在本课题研究中,修补工作采用滑动窗口掩码窗为逐一且独立的方式对大小为256*256的肠道图进行遮掩和修复,滑动窗口掩码窗大小统一为40*40,与训练GAN修补网络中掩码大小一致,保证了修补效果的稳定性,滑动步长为20像素点,滑动从图像右上角开始,并预留18像素的图像边缘信息利于滑动窗口滑动至图像边缘时的缺失像素重组。实验多次变肠道图像进行病变区域预测的测试,在对比分析中,所获得的病变热量图在轮廓、位置方面与真实病变分割图相近,同时也存在一些误判区域,但整体来说达到预期的效果。随后做了进一步研究,尝试通过改变滑动步长提高病变热量图的像素,最后实验显示该方法可行,生成的病变热量图在病变轮廓方面显示的更为细致和准确,但生成时间也会相对应增加。本课题提出的方法在GIANA和Crohn2012数据集上进行了有效性验证。GIANA和Crohn2012数据集均来自视频胶囊内窥镜,并由专家对获取的数据人工划分为健康肠道图像和存在病变的肠道图像两大类。原始肠道图像有效像素区域呈现为圆形,并有576*576(GIANA)和320*320(Crohn)两种规格,两类数据并无差异,共计6300余张,健康和非健康比例近1:1。预处理需要将图像变成256*256并删去无效区域,对576*576规格的图像进行400*400的中心裁剪,再调整图片大小为256*256;对320*320规格的图像直接进行256*256中心裁剪。此外,少量存在病变的肠道图像具有对应的病变分割图,在用于与本课题方法所生成的病变热量图对比中,显示病变热量图所预测的病变位置、形状大体与真实情况相符,即达到了实验所期望的结果。本研究课题提出了一种基于GAN的病变检测和分割方法,实现了以无监督训练的方式达到对目标区域定位的效果,相比于传统图像目标分割网络,大幅度降低了训练网络过程中人工标注数据集的成本。在应用于检测及定位克罗恩病变的实验中,生成的病变热量图于真实病理分割图相近,在实际诊断中可辅助专家提对病变进行定位,从而减少了工作负荷,提高诊断效率。