现代医学逐渐发展到了数字医疗和精准医疗的阶段。医学影像提供的相关信息为手术的规划和实施提供了帮助,但也存在新的挑战。首先,对于术前影像的查看与手术规划目前只能在图像工作站进行,无法满足在紧急情况下随时随地阅片的需求。其次,各类神经导航系统可以为医生的手术操作提供一定的辅助,但现有形式大多需要医生在患者和显示屏之间来回切换视角,这降低了手术的连续性。借助AR技术可以将导航信息直接叠加于手术场景中,但虚拟对象不加选择的显示容易引起视线遮挡的问题。针对上述提出的种种问题,本文提出了跨平台的医学影像查看方案、AR辅助导航方案以及优化AR辅助导航的分层次显示方法,并开发了一个用于手术导航的医学影像多层次交互可视化系统。本文的主要工作分为以下三个部分:(1)基于Web的跨平台影像查看方案Slice View。本方案通过基于Web的方式实现跨平台特性,解决了医生无法随时随地进行阅片的问题。对于二维及三维影像部分,本方案实现了DICOM图像的解析和显示,并具有平移、缩放、调窗等交互功能;实现了nii、obj、vtk等三维影像的解析和显示,并具有平移、旋转、缩放以及MPR多平面重建等交互功能。以上的解析显示及交互功能都在浏览器端独立完成,提升了交互的实时性。方案还考虑了不同终端的屏幕分辨率差异,会根据设备本身进行自适应界面布局。(2)用于多终端的AR辅助颅脑手术导航方案。在术中场景下,结合增强现实技术实现AR辅助可视化,解决了医生在显示设备与患者实体之间来回切换视角的问题。本方案通过设置标记物,来定位患者实体和手术器械尖端的坐标并通过空间变换转换至世界坐标系,实现两者的实时定位跟踪;通过术前影像CT、MRI重建得到虚拟模型,将其与患者实体进行三维配准,达到虚实结合的效果。最终帮助医生实现精准手术。(3)优化AR辅助颅脑手术导航方案的分层次显示方法。通过区域的分层次显示区分颅脑组织、手术周边组织、危险组织,解决模型冗杂问题;通过划定感兴趣区域,只显示感兴趣区域内危险组织模型,对其进行实时跟踪显示;通过提供手术器械尖端到目标肿瘤中心点、手术器械尖端与手术路径的偏移值、手术器械尖端与危险组织的最小距离及颜色预警等分层次辅助信息,为医生提供帮助,实现精准手术。