近年来，机器人辅助虚拟手术的不断发展使其在医疗领域的重要性日益凸显。机器人辅助腹腔镜虚拟手术对医生进行手术方案的设计和手术技能的培训具有重要价值。在虚拟手术仿真系统中，碰撞检测是进行反馈力和软体变形计算的前提，对于提高用户的沉浸感和系统的逼真度具有重要意义。然而碰撞检测算法主要集中于刚体之间的测试，包含软组织的碰撞检测研究较少，是虚拟手术系统中的瓶颈问题之一，因此开展对机器人辅助腹腔镜虚拟手术中碰撞检测的研究具有重要的理论意义和应用价值。虚拟手术场景具有手术器械末端运动复杂多变和软体组织产生形变两个特点，通过分析经典层次包围盒模型的优劣，将机器人辅助虚拟手术场景的两个特点和固定方向凸包检测方法相结合，提出了基于可变方向凸包的碰撞检测算法。根据空间几何特征，设计单个可变方向凸包包围盒的建立方法。从树的度、构造方式和分裂原则三个方面分别对包围盒树的构造进行分析，完成了可变方向凸包碰撞检测器的构建。设计虚拟手术场景中碰撞检测的全局策略，通过递归方式实现对各节点相交测试函数的调用。分析包围盒相交的充分必要条件，合理设计了两个可变方向凸包包围盒的相交测试方法，并对测试次序进行阐述。对相交叶节点包含的基元进行相交测试，最终获得是否相交的结果。与相交测试相比，更新包围盒树消耗的时间在碰撞检测中占有很大的比重，是重点研究问题。根据主手运动参数和手术器械结构完成了器械运动学的解算，设计了对象运动后包围盒树的更新方法。完成了软组织物理模型的构建，结合碰撞检测算法实现软体变形。着重研究了软体发生变形后包围盒树的更新，对可变方向凸包算法中的关键问题进行了详细分析和阐述。最后，搭建了仿真平台，设计碰撞检测信息可视化、软组织变形交互和可变方向凸包算法与经典算法对比的仿真实验。实验结果证明可以获取详细的碰撞信息，呈现逼真的软组织变形效果，且提出算法在包围盒树的紧密性和碰撞检测的快速性方向取得了很好的改进效果。本文提出了可变方向凸包碰撞检测算法，将碰撞检测的理论应用于腹腔镜虚拟手术系统中肝脏模型和手术器械之间的碰撞，实现了预期效果，为虚拟手术场景中力反馈和软体变形等问题的研究提供了理论和应用基础。