论文部分内容阅读
随着虚拟现实与增强现实技术的发展，人与机器的交互日趋频繁。视觉交互与触觉交互是人机交互的重要组成部分，当前视觉交互相关研究空前高涨，为医学、娱乐、工业制造等领域带来了前所未有的突破进展。作为重要的感官通道，触觉在人类日常生活交互过程中发挥着不可或缺的作用，然而在人机交互领域触觉交互的研究远落后于视觉交互，导致虚拟现实相关应用缺乏真实感与交互性。尤其是对视触觉交互沉浸感要求较高的虚拟手术相关应用，例如个性化术前规划、高精度术中导航等，迫切需要研究逼真、稳定、实时的触觉交互方法。与机械式触觉交互相比，磁悬浮触觉交互具有无机械摩擦、交互方式自然等优势，然而现有的磁悬浮触觉交互方法缺乏合理的设计理论支撑，且可扩展性差。并且，目前虚拟手术应用中通常采用通用模型，缺乏个性化软组织可视化模型及精确的软组织参数，导致无法为磁悬浮视触觉交互应用建立逼真的软组织交互式仿真场景。此外，在磁悬浮视触觉交互系统中，现有方法无法同时实现高频率、高精度、强稳定性及高成本效益的位姿测量目标，影响触觉交互设备与虚拟场景之间信息交互的质量，使得视触觉交互缺乏真实感，甚至可能造成交互不稳定的问题。
针对以上三个问题，将磁悬浮视触觉交互成功应用于虚拟手术领域，迫切需要研究高精度磁悬浮触觉反馈方法、个性化软组织建模方法以及为虚实环境提供高质量信息交互的实时精确稳定的位姿测量方法。因此，本文开展了虚拟手术的磁悬浮视触觉交互关键方法的研究，包括的内容有：增强软组织刚度感知的高精度磁悬浮触觉反馈方法、软组织精确分割方法、非线性软组织参数估计方法以及提高磁悬浮视触觉交互真实感与稳定性的视觉-惯性融合位姿测量方法。针对以上研究内容所取得的研究成果主要包括以下四个方面。
针对传统机械式触觉反馈存在摩擦影响软组织刚度感知交互体验，以及现有的磁悬浮触觉反馈方法未考虑线圈阵列设计的合理性和可扩展性的难题，提出一种新颖的高精度磁悬浮触觉反馈方法；基于线圈阵列有效磁场区域与线圈阵列中各线圈摆放方式(即各线圈相对位置与角度)关系的仿真分析，提出姿态可调的磁悬浮触觉反馈方法，以适应软组织不同触觉交互需求；针对线圈阵列各线圈电流易受外界环境及线圈温度影响导致软组织刚度感知体验差的问题，提出自适应模糊PID算法控制各线圈电流。实验结果表明，基于提出的姿态可调的磁悬浮触觉反馈方法及线圈电流智能控制算法研发的磁悬浮触觉交互设备具有无机械摩擦、精度高、功耗低、扩展性强等优势，且能有效增强软组织刚度感知。
由于个体性差异、病变等会引起软组织结构、外观等发生改变，实现软组织精确分割以建立个性化软组织模型在沉浸式软组织视触觉交互仿真中尤为关键。针对现有卷积神经网络用于软组织影像分割易产生解剖性错误分割结果，严重影响软组织可视化模型精度的难题，提出循环交错注意力分割模型，该模型在同一分辨率的不同卷积层之间引入循环反馈结构，在增加少量参数的前提下极大地提高了特征表达能力；提出交错注意力机制在解码阶段融合不同层级的特征，使得更有区别性的特征用于分割结果的重建；采用加权深度监督机制训练循环交错注意力分割模型，进一步提高了分割精度。该方法能够有效降低解剖性错误分割结果，提高软组织分割精度及重建精度。
软组织视触觉交互仿真中，软组织弹性参数的精确估计对于软组织形变逼真可视化及触觉沉浸式渲染至关重要。针对非线性有限元建模方法及计算过程相当复杂，软组织通常被建模为线性材料导致模型精度不高的难题，提出参数替代策略构建非线性软组织参数估计模型。对于获取的软组织应变应力数据，首先利用基于支持向量机的加权预测模型校正应力数据，为非线性参数估计提供高质量数据；其次基于非线性材料局部线性化的思想建立估计软组织非线性参数(杨氏模量和泊松比)的有限元模型，该模型构建过程中采用参数替代策略来避免解决复杂的非线性求解问题，并在此模型中引入线性有限元模型求解的初始参数，以提高模型鲁棒性并避免局部极小值；最后提出能够自适应调整迭代参数的自适应LM算法求解构建的非线性参数估计模型。
针对磁悬浮视触觉交互系统中低频率交互操作位姿测量会导致触觉反馈缺乏真实感、稳定性，从而影响磁悬浮视触觉交互沉浸感的难题，提出基于级联网络的θ-增量学习方法，该学习方法以共享参数的方式构建级联网络对时序变量θ在小时间步内的增量进行预测；提出基于θ-增量学习的视觉-惯性融合位姿测量方法，构建级联网络OCasNet与嵌套级联网络PCasNet分别对姿态数据及位置数据增量进行高频估计，实现了对软组织视触觉交互操作的快速精确稳定的位姿测量。实验结果表明，所提出的基于级联网络的θ-增量学习方法能够在提高保证高精度的同时达到200Hz的位姿测量频率，该研究成果为提高磁悬浮视触觉交互仿真的沉浸感提供了关键基础。
综上所述，本文针对面向虚拟手术的磁悬浮视触觉交互系统中存在的关键问题展开了深入研究，并取得了一定的研究成果。这些研究成果为沉浸式磁悬浮视触觉交互系统的建立提供了必要的理论、方法支撑，在个性化虚拟手术交互式仿真方面具有潜在的应用价值。
针对以上三个问题，将磁悬浮视触觉交互成功应用于虚拟手术领域，迫切需要研究高精度磁悬浮触觉反馈方法、个性化软组织建模方法以及为虚实环境提供高质量信息交互的实时精确稳定的位姿测量方法。因此，本文开展了虚拟手术的磁悬浮视触觉交互关键方法的研究，包括的内容有：增强软组织刚度感知的高精度磁悬浮触觉反馈方法、软组织精确分割方法、非线性软组织参数估计方法以及提高磁悬浮视触觉交互真实感与稳定性的视觉-惯性融合位姿测量方法。针对以上研究内容所取得的研究成果主要包括以下四个方面。
针对传统机械式触觉反馈存在摩擦影响软组织刚度感知交互体验，以及现有的磁悬浮触觉反馈方法未考虑线圈阵列设计的合理性和可扩展性的难题，提出一种新颖的高精度磁悬浮触觉反馈方法；基于线圈阵列有效磁场区域与线圈阵列中各线圈摆放方式(即各线圈相对位置与角度)关系的仿真分析，提出姿态可调的磁悬浮触觉反馈方法，以适应软组织不同触觉交互需求；针对线圈阵列各线圈电流易受外界环境及线圈温度影响导致软组织刚度感知体验差的问题，提出自适应模糊PID算法控制各线圈电流。实验结果表明，基于提出的姿态可调的磁悬浮触觉反馈方法及线圈电流智能控制算法研发的磁悬浮触觉交互设备具有无机械摩擦、精度高、功耗低、扩展性强等优势，且能有效增强软组织刚度感知。
由于个体性差异、病变等会引起软组织结构、外观等发生改变，实现软组织精确分割以建立个性化软组织模型在沉浸式软组织视触觉交互仿真中尤为关键。针对现有卷积神经网络用于软组织影像分割易产生解剖性错误分割结果，严重影响软组织可视化模型精度的难题，提出循环交错注意力分割模型，该模型在同一分辨率的不同卷积层之间引入循环反馈结构，在增加少量参数的前提下极大地提高了特征表达能力；提出交错注意力机制在解码阶段融合不同层级的特征，使得更有区别性的特征用于分割结果的重建；采用加权深度监督机制训练循环交错注意力分割模型，进一步提高了分割精度。该方法能够有效降低解剖性错误分割结果，提高软组织分割精度及重建精度。
软组织视触觉交互仿真中，软组织弹性参数的精确估计对于软组织形变逼真可视化及触觉沉浸式渲染至关重要。针对非线性有限元建模方法及计算过程相当复杂，软组织通常被建模为线性材料导致模型精度不高的难题，提出参数替代策略构建非线性软组织参数估计模型。对于获取的软组织应变应力数据，首先利用基于支持向量机的加权预测模型校正应力数据，为非线性参数估计提供高质量数据；其次基于非线性材料局部线性化的思想建立估计软组织非线性参数(杨氏模量和泊松比)的有限元模型，该模型构建过程中采用参数替代策略来避免解决复杂的非线性求解问题，并在此模型中引入线性有限元模型求解的初始参数，以提高模型鲁棒性并避免局部极小值；最后提出能够自适应调整迭代参数的自适应LM算法求解构建的非线性参数估计模型。
针对磁悬浮视触觉交互系统中低频率交互操作位姿测量会导致触觉反馈缺乏真实感、稳定性，从而影响磁悬浮视触觉交互沉浸感的难题，提出基于级联网络的θ-增量学习方法，该学习方法以共享参数的方式构建级联网络对时序变量θ在小时间步内的增量进行预测；提出基于θ-增量学习的视觉-惯性融合位姿测量方法，构建级联网络OCasNet与嵌套级联网络PCasNet分别对姿态数据及位置数据增量进行高频估计，实现了对软组织视触觉交互操作的快速精确稳定的位姿测量。实验结果表明，所提出的基于级联网络的θ-增量学习方法能够在提高保证高精度的同时达到200Hz的位姿测量频率，该研究成果为提高磁悬浮视触觉交互仿真的沉浸感提供了关键基础。
综上所述，本文针对面向虚拟手术的磁悬浮视触觉交互系统中存在的关键问题展开了深入研究，并取得了一定的研究成果。这些研究成果为沉浸式磁悬浮视触觉交互系统的建立提供了必要的理论、方法支撑，在个性化虚拟手术交互式仿真方面具有潜在的应用价值。