近年来,医疗领域不断引入计算机方面的高科技成果,例如使用机器人技术、计算机图形图像技术等来帮助医学治疗,因此形成了学科融合趋势,尤其是在外科方面,计算机辅助微创手术技术逐渐成为领域热点和研究方向。其中较为热门的技术当属增强现实技术,它的特点就是虚实融合,可以提升人们对现实场景的体验和感知。目前在视觉导航微创手术中,手术医生在内镜下对手术器械、具体病灶定位不易,视野有限,缺乏深度信息等问题,本文重点研究微创手术器械的自动检测与定位技术和基于超声图像融合的微创手术增强现实技术,并应用于微创手术导航手术当中,不仅能够准确即时获取手术器械的位置信息,还可以将先验信息例如马上可以得到的超声图像在微创手术画面进行即时叠加融合,为医生在手术过程中进行导航,可以直观显示手术中患者的病灶,对手术器械定位精准化,保证手术的顺利进行。首先,本文研究一种微创手术增强现实导航系统的手术器械定位算法实现对手术器械的自动检测和定位,并获得三维空间定位信息。此算法首先基于U-Net网络训练生成手术器械分割模型,实现在复杂微创手术环境中手术器械的分割;然后使用ORB算法在立体内镜视野下的双目图像中检测手术工具的头部特征,结合本文中提出的基于NN-GMS改进的优化匹配算法将误匹配进行消除,再根据双目立体内镜成像模型计算匹配特征点的三维空间坐标,生成三维特征点云;最后,以最小化配准误差函数为目标,使用ST-ICP算法将三维特征点云与手术器械点云模型在立体空间中配准,从而获取手术器械在双目立体内镜下的定位信息。其次,针对传统的微创手术增强现实导航技术是利用医学先验信息（例如CT、MRI）重新做三维空间的组建,并重新把组建成的框架加到双目立体内镜的视频上,该技术对病灶的定位主要依靠术前数据无法预测术中软组织的移动与形变情况。因此本文研究基于超声图像在立体内镜下对超声探头的即时检测与融合的关键技术,旨在实现更加符合真实环境的增强现实导航效果。首先,基于本文提出的微创手术器械自动检测与定位算法确定双目立体内镜视频超声探头的头部三维空间坐标点;再由超声探头的头部部分的三维空间坐标点求解超声探头的扫视平面;最后将超声探头所扫视的超声图像即时融合叠加到此扫视平面上,从而达到增强现实的效果。通过该技术实现超声图像在双目立体内镜的视频中的即时叠加融合,并确保超声图像在立体空间中的位置与真实环境下超声探头扫视的位置相吻合。