论文部分内容阅读
【摘 要】在骨骼外科领域，由于骨骼、脊髓、周围组织等重要解剖结构的复杂性，骨骼外科手术操作中极易造成神经和血管等重要结构的损伤，精准定位是骨骼外科手术的重点和难点，直接关系到手术操作的难易程度、手术时间长短以及手术疗效优劣，增强现实技术能够有效的将解剖结构以可视化的形式告知医生，在骨科手术中可作为高精度导航使用。本文就增强现实技术在骨科手术导航中的应用研究进展进行综述。
【关键词】增强现实;骨科;导航
引言
增强现实（简称AR）是一种实时地计算摄影机影像的位置及角度并相应增加图像、视频、3D模型的技术[1]。增强现实技术通过将虚拟模型和现实环境融合叠加在一起，并且提供实时交互，能够增强人对真实环境的感受。由于增强现实具有三维可视能力及交互能力等技术特点[2]，使其在手术导航中的应用中提供了高度的匹配性，增强现实通过将重要的解剖结构进行可视化，并且实时叠加到手术区域中，使得医生在手术中能够准确的避开重要组织或器官，快速确定手术路径。
1、增强现实技术在骨科手术导航中的应用概述
Morton Heilig在20世纪五、六十年代所发明的Sensorama Stimulator。Sensorama Stimulator同时使用了图像、声音、香味和震动，让人们感受在纽约的布鲁克林街道上骑着摩托车风驰电掣的场景。由于AR技术的颠覆性和革命性，AR技术获得了大量关注。在2015和2016两年间，AR领域共进行了225笔风险投资，投资额达到了35亿美元，从原有的娱乐领域扩展到多个新领域，尤其是手术外科诊疗领域。
近年来，数字化医学发展飞速，计算机虚拟模型已被广泛用于手术前的模拟与计划[3]，但人体内部器官组织环境比较复杂，仅通过术前的图像信息，很难快速对应手术目标区域，医生需要在手术过程中实时拍摄患者的图像并不停转换对计算机显示界面和显示手术的关注，无形中增加了手术的时间，也增加了患者和医生接收的辐射剂量;同时由于术前数据和术中实际数据的不一致，使得图像重建时存在一定误差，在手术过程中往往需要凭借医生的经验实时调整手术路径，稍有疏忽就可能造成对手术的失误。因此，有效的手术导航系统对于提高手术成功率有着十分重要的意义。
通常基于增强现实技术的骨科手术导航系统主要包括计算机工作站，医生将患者术前通过CT或MRI等图像获取装置获得的影响数据输入工作站中进行分析处理以输出个性化的与手术中实际解剖结构一致的三维模型，再利用配准技术将虚拟模型和实际解剖结构进行准确的叠加并呈现给医生，手术中可以实时辅助医生快速准确的找到手术靶区域，并能够进行交互操作，可以术中诊断和及时修改手术方案，保证手术效果。在骨科手术中，由于膝关节和脊柱的解剖学特点，在与其相关的手术中使用增强现实导航也逐渐成为研究的热点。
2、增强现实在膝关节手术导航中的应用
全膝关节置换手术是目前治疗膝关节疾病的重要途径。膝关节的结构十分复杂，手术空间比较狭小，周围还存在重要的血管和神经，在进行微创全膝关节置换术时，对医生的经验和技巧要求都极高，稍有误差就会造成植入假体对线偏离，严重影响患者术后行动并大大缩短了假体的使用寿命。增强现实导航可以为医生提供术中引导，有效解决术中视野狭小，难以获得患者定位信息的问题。北京航空航天大学最初提出了一种导航软件，其由空间位置跟踪模块、空间配准模块、可视化显示模块构成;通过标志将术前三维虚拟模型、手术器械、股骨、胫骨以及术者视觉之间进行空间映射，将膝关节虚拟模型、规划手术路径以及器械位置进行虚实融合，并将融合图像实时显示在增强现实眼镜中;该软件通过空间映射模型将虚拟手术空间、真实手术空间与医生的视觉空間进行配准，通过虚拟三维模型与真实手术环境的虚实结合，为医生提供三维信息，扩展手术视野，帮助医生精确跟踪手术器械，精确定位手术路径，提高手术的准确性和科学性。紧接着，北京航空航天大学在此基础上，基于微软的HoloLens提出了一种用于微创全膝关节置换手术的增强现实导系统，可实现HoloLens虚拟空间坐标系的半自动化标定，并结合图像配准技术将虚拟膝关节解剖模型及虚拟手术导板模型准确叠加至对应真实患部位置，实现增强现实导航，从而可以为医生提供直观准确的术中图像引导。
3、增强现实在脊柱外科手术导航中的应用
脊柱手术中，增强现实技术能够实现脊柱立体显示，将术前规划和重要的解剖结构叠加在手术视野内，对准确选择手术入路位置，避免伤及重要神经有重大意义。
Wu等证明了在脊柱经皮椎体成形术中，通过将虚拟三维模型与患者真实人体的一体化呈现，在提高穿刺套管植入位置的准确度的同时也减少了手术的操作时间。同时，Wang等研究也证实了增强现实导航系统可大幅度提高骶髂螺钉置入的精准度，由于叠加显示的功能，可避开周围血管、神经等解剖结构，从而降低损伤的发生率。在脊柱畸形的矫形手术导航中，Kosterhon等提出一种导航系统，其可将术前患者的脊柱影像数据输入三维可视化软件系统进行处理分析以生成术中需要的切除平面及截骨范围并导出至导航系统内存储，使得医生能够在手术中直观的看到切除平面及截骨范围，从而有效完成手术，大大提高了手术的准确度和安全性能。Fritz等对增强现实技术辅助MR导航骨组织穿刺的精确度进行了评估，评估结果表明该导航技术可有效提高骨性病变活检的准确性。
4、小结和展望
增强现实技术作为一个新的技术分支，现阶段也在突飞猛进的发展，将其用于医学手术导航以协助医生更加精准的实施手术与数字医学的发展目标是一致的。高精度的图像指导，能够使得手术创伤更小，减少手术过程中医生和患者在辐射中暴露的时间，对骨科手术导航有着重要的研究价值和应用价值。基于计算机图形学的不断发展进步，增强现实中的核心技术，如三维重建、图像配准和叠加显示的精度将不断提高，增强现实技术在骨科手术导航中将有着更为广阔的前景。
参考文献：
[1]何泽浩，隋晓萌，赵燕，等.基于全息光学的虚拟现实与增强现实技术进展[J].科技导报，2018，36（9）：8-17.
[2]张振颖.增强现实技术在产品服务系统设计中的应用与研究[D].长沙：湖南大学，2012.
[3]丛海波，张恩忠，余志平，等.增强现实技术联合 3D 打印技术行半椎体置换治疗椎体肿瘤一例[J].中国修复重建外科杂志，2017，31（11）：1407-1408.
（作者单位：国家知识产权局专利局专利审查协作广东中心）
【关键词】增强现实;骨科;导航
引言
增强现实（简称AR）是一种实时地计算摄影机影像的位置及角度并相应增加图像、视频、3D模型的技术[1]。增强现实技术通过将虚拟模型和现实环境融合叠加在一起，并且提供实时交互，能够增强人对真实环境的感受。由于增强现实具有三维可视能力及交互能力等技术特点[2]，使其在手术导航中的应用中提供了高度的匹配性，增强现实通过将重要的解剖结构进行可视化，并且实时叠加到手术区域中，使得医生在手术中能够准确的避开重要组织或器官，快速确定手术路径。
1、增强现实技术在骨科手术导航中的应用概述
Morton Heilig在20世纪五、六十年代所发明的Sensorama Stimulator。Sensorama Stimulator同时使用了图像、声音、香味和震动，让人们感受在纽约的布鲁克林街道上骑着摩托车风驰电掣的场景。由于AR技术的颠覆性和革命性，AR技术获得了大量关注。在2015和2016两年间，AR领域共进行了225笔风险投资，投资额达到了35亿美元，从原有的娱乐领域扩展到多个新领域，尤其是手术外科诊疗领域。
近年来，数字化医学发展飞速，计算机虚拟模型已被广泛用于手术前的模拟与计划[3]，但人体内部器官组织环境比较复杂，仅通过术前的图像信息，很难快速对应手术目标区域，医生需要在手术过程中实时拍摄患者的图像并不停转换对计算机显示界面和显示手术的关注，无形中增加了手术的时间，也增加了患者和医生接收的辐射剂量;同时由于术前数据和术中实际数据的不一致，使得图像重建时存在一定误差，在手术过程中往往需要凭借医生的经验实时调整手术路径，稍有疏忽就可能造成对手术的失误。因此，有效的手术导航系统对于提高手术成功率有着十分重要的意义。
通常基于增强现实技术的骨科手术导航系统主要包括计算机工作站，医生将患者术前通过CT或MRI等图像获取装置获得的影响数据输入工作站中进行分析处理以输出个性化的与手术中实际解剖结构一致的三维模型，再利用配准技术将虚拟模型和实际解剖结构进行准确的叠加并呈现给医生，手术中可以实时辅助医生快速准确的找到手术靶区域，并能够进行交互操作，可以术中诊断和及时修改手术方案，保证手术效果。在骨科手术中，由于膝关节和脊柱的解剖学特点，在与其相关的手术中使用增强现实导航也逐渐成为研究的热点。
2、增强现实在膝关节手术导航中的应用
全膝关节置换手术是目前治疗膝关节疾病的重要途径。膝关节的结构十分复杂，手术空间比较狭小，周围还存在重要的血管和神经，在进行微创全膝关节置换术时，对医生的经验和技巧要求都极高，稍有误差就会造成植入假体对线偏离，严重影响患者术后行动并大大缩短了假体的使用寿命。增强现实导航可以为医生提供术中引导，有效解决术中视野狭小，难以获得患者定位信息的问题。北京航空航天大学最初提出了一种导航软件，其由空间位置跟踪模块、空间配准模块、可视化显示模块构成;通过标志将术前三维虚拟模型、手术器械、股骨、胫骨以及术者视觉之间进行空间映射，将膝关节虚拟模型、规划手术路径以及器械位置进行虚实融合，并将融合图像实时显示在增强现实眼镜中;该软件通过空间映射模型将虚拟手术空间、真实手术空间与医生的视觉空間进行配准，通过虚拟三维模型与真实手术环境的虚实结合，为医生提供三维信息，扩展手术视野，帮助医生精确跟踪手术器械，精确定位手术路径，提高手术的准确性和科学性。紧接着，北京航空航天大学在此基础上，基于微软的HoloLens提出了一种用于微创全膝关节置换手术的增强现实导系统，可实现HoloLens虚拟空间坐标系的半自动化标定，并结合图像配准技术将虚拟膝关节解剖模型及虚拟手术导板模型准确叠加至对应真实患部位置，实现增强现实导航，从而可以为医生提供直观准确的术中图像引导。
3、增强现实在脊柱外科手术导航中的应用
脊柱手术中，增强现实技术能够实现脊柱立体显示，将术前规划和重要的解剖结构叠加在手术视野内，对准确选择手术入路位置，避免伤及重要神经有重大意义。
Wu等证明了在脊柱经皮椎体成形术中，通过将虚拟三维模型与患者真实人体的一体化呈现，在提高穿刺套管植入位置的准确度的同时也减少了手术的操作时间。同时，Wang等研究也证实了增强现实导航系统可大幅度提高骶髂螺钉置入的精准度，由于叠加显示的功能，可避开周围血管、神经等解剖结构，从而降低损伤的发生率。在脊柱畸形的矫形手术导航中，Kosterhon等提出一种导航系统，其可将术前患者的脊柱影像数据输入三维可视化软件系统进行处理分析以生成术中需要的切除平面及截骨范围并导出至导航系统内存储，使得医生能够在手术中直观的看到切除平面及截骨范围，从而有效完成手术，大大提高了手术的准确度和安全性能。Fritz等对增强现实技术辅助MR导航骨组织穿刺的精确度进行了评估，评估结果表明该导航技术可有效提高骨性病变活检的准确性。
4、小结和展望
增强现实技术作为一个新的技术分支，现阶段也在突飞猛进的发展，将其用于医学手术导航以协助医生更加精准的实施手术与数字医学的发展目标是一致的。高精度的图像指导，能够使得手术创伤更小，减少手术过程中医生和患者在辐射中暴露的时间，对骨科手术导航有着重要的研究价值和应用价值。基于计算机图形学的不断发展进步，增强现实中的核心技术，如三维重建、图像配准和叠加显示的精度将不断提高，增强现实技术在骨科手术导航中将有着更为广阔的前景。
参考文献：
[1]何泽浩，隋晓萌，赵燕，等.基于全息光学的虚拟现实与增强现实技术进展[J].科技导报，2018，36（9）：8-17.
[2]张振颖.增强现实技术在产品服务系统设计中的应用与研究[D].长沙：湖南大学，2012.
[3]丛海波，张恩忠，余志平，等.增强现实技术联合 3D 打印技术行半椎体置换治疗椎体肿瘤一例[J].中国修复重建外科杂志，2017，31（11）：1407-1408.
（作者单位：国家知识产权局专利局专利审查协作广东中心）