考虑到微创手术中创口较小带来的视野狭窄,传统对外科医生手术培训的方法过于局限等缺点,医生在手术中会降低对手术部位的判断能力,尤其对于精细的肝脏外科微创手术,严重时可能会带来安全隐患。相对于传统的微创手术,结合AR技术开发的微创手术导航系统能有效地解决其视野狭窄的问题,给医生在手术时提供充分的视觉信息。与其他微创手术导航系统所不同,肝脏等组织会随着手术的过程发生形变,仅使用术前创建的虚拟模型并不能达到模拟实际手术过程中对肝脏组织进行的切割及系列操作。如何在微创手术中满足给医生提供视觉信息的前提下,对术中的肝脏组织进行切割及受力形变模型的仿真是本文的重要研究内容。针对本文面向肝脏外科医疗培训的AR技术研究中的关键问题,本文首先使用Marching Cubes算法对术前的肝脏组织与内部血管及其外围肋骨模型进行了三维重建,求出肝脏组织模型的重心作为参照点并分别对各部分渲染得到了肝脏系统模型。然后针对肝脏切割时网格变化进行了研究,分别基于移动顶点法、贝塞尔曲线及质点弹簧阻尼模型构建了肝脏组织的切割与受力形变模型,对术中的肝脏切割操作进行了仿真。使用人体骨骼关键点检测算法作为人体图像的特征识别,并通过算法推理加速后得到的关键点特征解算出肝脏模型位于人体图像上的位姿,将虚拟肝脏系统模型与人体图像进行跟踪配准。最后分别在Unity和Pycharm开发环境中搭建了本文的AR与视觉平台,实现了上述功能。为了验证肝脏组织切割与形变模型和虚实融合配准的有效性,搭建了相应的实验环境,在对实际的人体图像采集与虚拟肝脏模型配准后,对肝脏模型进行切割仿真。实验结果表明关键点特征及虚拟模型能够有效地跟踪人体的位姿并配准,给操作者提供充分的视觉信息;所创建的肝脏切割与受力形变模型能够在手术器械与虚拟模型切割后产生对应的切口及形变,达到模拟实际术中对肝脏组织的操作仿真。如此,本文建立的增强现实辅助系统可以解决肝脏外科微创手术中由于视野狭窄带来的问题,并对术中的切割操作进行仿真达到对医生手术操作培训的效果,以此解决肝脏外科微创手术中的一些实际问题。