肝癌是致死率极高的癌症之一,其首选治疗方式是手术切除肿瘤部位。但由于肝癌患者常伴有肝硬化或者在确诊时已到中晚期,约有80%的肝癌患者无法实施手术切除。近年来,具有对肝功能影响少、创伤小、疗效确切等特点的介入治疗逐渐成为应对上述情况的主要治疗方案。肝癌介入治疗需要在CT、MRI或者超声等医学影像设备的引导下将手术器械/药物导入病灶区域进行局部治疗。因此,多模态影像融合技术作为肝癌介入治疗的核心环节,决定介入治疗中手术器械的定位精度,是确保治疗成功的关键。然而,目前临床广泛使用的术前CT和术中超声双模态影像融合受到图像配准和肝脏形变等问题的困扰,进而限制肝癌介入治疗的进一步临床推广及应用。本文针对术前CT和超声影像融合问题,基于肝脏解剖结构先验知识,研究采用深度强化学习的技术将介入手术中的影像融合问题分解为肝脏关键血管定位和多模态医学影像配准两部分实现,为后续实现术中超声和术前CT的实时配准融合做准备。首先测试强化学习方法在完整肝脏三维CT数据中定位复杂解剖结构特征点的可行性,为此搭建单智能体强化学习模型并且测试;进一步搭建多智能体强化学习模型,分别定位术前增强CT和术前二维超声中肝门静脉左支矢状部的三个血管分支点;然后利用多智能体强化学习模型点定位的结果切出术前增强CT中包含目标结构的二维CT切面,搭建超声图像模拟算法模型得到该CT切面对应的模拟超声图像;最后分别利用多智能体强化学习模型点定位的结果在真实、模拟超声图像中狂选出感兴趣图像区域计算图像相似度,实现术前超声和增强CT的初步配准融合。具体工作内容包括如下几点:1)首先,本文选定肝脏丰富的血管系统中的一处稳定结构,肝脏门静脉左右分支的血管分叉点作为目标点,探索深度强化学习点定位模型在定位该点上的表现,并且为此搭建相应的单智能体深度强化学习单点检测模型。研究基于MICCAI 2017 Liver Tumor Segmentation（LITS07）数据集和3D-DIRCADb数据集这两个公开的肝脏三维CT数据集进行,结果表明DQN、Double DQN以及Dueling DQN等强化学习算法模型检测门静脉左右分支点的平均距离误差在3.31～3.85mm之间,证明了深度强化学习方法在复杂的肝脏三维CT图像中定位解剖结构特征点的性能。2)其次,本文尝试搭建Dueling DQN算法下多智能体强化学习模型,用于定位肝门静脉左支矢状部这一比较稳定的解剖结构上三个血管分叉点组成的目标平面。在东南大学附属中大医院收集的32例数据上进行实验,结果表明Dueling DQN算法对应的多智能体强化学习模型定位三个血管分叉点的平均距离误差在3.57～3.81mm之间;DQN算法对应的多智能体强化学习模型定位精度是3.76～3.94mm之间,即Dueling DQN算法模型具有微弱优势。此外,分别在DQN、Dueling DQN算法下对比单智能体和多智能体强化学习模型,实验结果表明多智能体强化学习模型定位三个目标点的平均距离误差减少了0.14～2.19mm。同时,模型训练时长比单智能体缩短30%左右。研究结果证明,多智能体强化学习多点定位模型能够完成复杂的肝脏三维CT图像中关键解剖结构及对应参考平面的检测。3)为了探索和验证基于肝脏解剖结构先验知识的三维CT和二维超声的影像融合配准,本文首先利用多智能体强化学习模型得到的三个血管分叉点的位置信息切出对应的二维CT图像。然后通过构建CT物理值与人体组织声阻抗系数之间关联,基于瑞利散射定理和声波传输模型,得到对应的模拟超声图像。另一方面搭建二维多智能体强化学习模型定位真实术前超声图像中肝门静脉左支矢状部的三个血管分支点,得到位置信息。最后,分别根据多点定位结果从真实、模拟超声图像中框选出的感兴趣图像区域并计算其相似度。在5例同一患者的CT和超声数据上的实验结果均取得了较好一致性,证明利用肝脏解剖结构先验知识和深度强化学习模型有助肝癌介入治疗中CT和超声影像的初始融合配准。本文针对强化学习在增强CT和二维超声在初始配准融合方面的探索,不仅为两种模态影像的术前配准融合提供了新的思路也为后续实现术中超声和术前CT数据的实时配准融合做准备。