胃癌目前是世界上第五大常见的恶性肿瘤,而且在中国,在所有恶性肿瘤中的病发率与病亡率更高居第二位。胃癌的病亡率与肿瘤的恶化状况密切相关,晚期胃癌的5年存活率仅为16.4%,而早期胃癌的5年存活率则可以超过90%。因此,对胃癌的早期发现是提升患者存活率的关键,及时排查早期胃部癌症并治疗,可以有效遏制胃癌的恶化,降低死亡率。传统方法通常是拍摄胃内镜影像,由医生人工进行判别,然而胃部表面粘膜形状复杂,胃部早期癌症症状隐蔽,对医生的专业水平要求高,不便于普及,因此利用人工智能技术建立胃部早癌诊断系统具有重要的意义,也催生了一系列计算机自动辅助诊断系统的研究。但是,前期研究大多数是基于白光影像数据的,结合白光与窄带成像（Narrow Band Imaging,缩写为NBI）多光谱数据的研究迄今鲜有报道。而NBI图像有助于观察微小的血管和粘膜模式,可以提供更精细的早癌病变特征。因此,本论文工作主要是基于卷积神经网络的深度学习方法,研究结合白光与NBI图像的早期胃癌智能实时识别系统,以期实现早期胃癌的智能甄别,提升对医师的辅助诊断能力。论文主要工作如下:1、以Mask-RCNN深度卷积神经网络算法为核心,设计了早期胃癌智能识别的处理流程和系统构造,并构建了三个模块来实现视频图像数据的预处理、癌变部位的目标检测和图像分割、以及针对实时检测需求的视频时序投票方法的后处理等任务。首先通过基于白光和NBI下的10942张胃部早癌图像构建了数据集,进行图像数据增强预处理后开展了目标检测和图像分割算法模型的训练学习研究,并与Faster R-CNN、YOLO、RetinaNet三种目标检测技术的实验结果相比较,优选出基于ResNet50的Mask-RCNN框架来实现对正常、炎症、早癌三种类别胃内镜图像的高精度目标检测与图像分割。2、在优选出的目标检测与图像分割Mask-RCNN框架的基础上,将CSP网络结构加入到用于提取图像特征的骨干网络中,进一步对算法模型进行了优化。通过调控ResNeXt Block之前的输入方式来优化特征图拼接效果,发现如此构造的CSP-ResNeXt-Mask-RCNN网络结构具有减少计算量和增强损失函数梯度的优良表现。此外,还针对收集到的大量早期胃癌图像的数据特点,进一步对算法模型进行了置信度阈值调优。我们利用验证数据集对优化算法模型进行了各种性能指标的评估,并与医生的图像标注做了对比实验。对比测试结果表明,优化后的算法模型总体准确率为95.0%,召回率为99.0%,优于医生的标注水平,模型识别准确率已经可以媲美资深内镜师的水平。3、结合医师在实际的胃部内窥镜视频检测时的较高实时性需求,提出了一种视频时序投票方法来对视频后处理和识别结果输出策略进行优化。此外,我们还对15个视频提供的胃部图像信息进行了实时智能识别,实验结果表明,所优化算法模型的早期胃癌智能识别的综合准确率达到88.7%,获得了接近静态图片测试集的效果。最后,基于优化集成的智能识别流程和算法模型,我们还与安徽医科大学第一附属医院和企业机构开展合作,研制了早期胃癌智能识别系统样机并开展了相关测试,以有效辅助内窥镜医师对早期胃癌做出诊断。该系统目前已进入临床试验阶段。