尽管腹腔镜手术有诸如创口直径小、恢复时间短等优点,但就目前来看,腹腔镜的使用还是被在人体器官内引导手术仪器所遇到的视野以及手术能力降低的问题所限制。与神经外科手术等不会遇到器官在短时间内显著移动、变形而使输出图像难以辨别的情况不同,这种局限性在腹部外科手术中极为明显。不过,随着现代计算机视觉技术的发展,我们已经有了许多可以在这类手术过程中帮助医生的方法。其中一种方法是使用增强现实技术辅助手术。增强现实技术是一个可以提供快速立体图像处理以及将建立的3D模型与现实世界结合显示(反之亦然)的新的研究领域。增强现实技术是目前在教育,娱乐,医疗和航空航天等行业使用,并正在积极研究时。大多数现有的电流计算装置,特别是移动的人,都能够用作在AR系统既处理和显示单元。在AR系统的基本前提是,首先,收购或创建一个计算机生成的图像,然后在视觉的真实空间相机领域对用户的世界观找到一个”锚点“,最后覆盖有CGI,创建一个组合的,更丰富的图像。通过对单视场视频或立体视频应用X射线断层摄影技术或超声波扫描与表面识别技术可以得到术前立体图像,将这些术前立体图像通过一定算法进行结合,就可以生成有着腹部器官轮廓的简洁的复合图像。将该复合图像在手术过程中显示在电脑屏幕上、投影图像或专业的头戴显示器可以有效地帮助外科医生来进行手术。AR增强导航手术已经看到在刚性器官外科手术领域,如神经外科,并且还骨,肾和其他各种器官外科手术应用显著验收。但是,由于因血流许多问题,从宪法和腹部,内部结构不断上升,如恒定的运动器官和脉动呼吸,粘液和体液覆盖器官导致不一致的光线反射等的表面,这种方法还没有找到它的方式腹腹腔镜手术。由于被在一个非常有前途的医疗技术的方式限制点相同的和许多其他的问题,它克服了这些问题是重要的,和AR系统只是可能的解决方案之这项工作有望实现一个在手术系统中应用的表面识别和重构算法,它将被应用在一个有着复杂的医学影像和手术设备的系统中。在向该系统输入腹腔镜立体探头采集的数据后,系统会输出一个内部器官表面的实时3D绘制图像,同时也会将输出的绘制图像显示在增强现实系统中,这可以提升高腹腔镜图像导航外科手术的质量。这项工作的主要目的是3D图像采集和处理算法,可以被实现为后端软件解决方案,并掺入作为上述设备复杂的一部分的创建。为了实现这一目标,我们通过几个研究阶段,包括在该领域的现有技术的技术解决方案的状态比较(从所有感兴趣的包含区域,如腹腔镜设备本身,在AR的图像显示等的),深外表去成底层理论原则和计算机视觉的局限性,并且,最后,提出并试图产生一个原型有问题的算法实现的。在文章的开始,我们分析现有的手术前图像获取、手术中图像获取技术解决方案并且深入探讨不同的内窥镜设备和腹腔镜图像技术,也就是说,多比较不同的光学模型腹腔镜摄像头,要特别注意各种解决方案以使立体图像产生腹腔镜。下一步,我们寻找可行的可以辅助医疗手术的增强现实图像显示技术并加以比较,以评估的图像引导手术应用情况下的可用性。然后,我们讨论现有的关于表面重建和表面识别软件方法的数学相机模型和数学基础。对于我们研究的目的,我们选择使用从立体图像的方法的密集点云重建无网格生成,虽然说网应考虑在未来实现。立体腹腔镜被广泛用于外科实践(不像,比方说,从遮光相机光络合物,结构光发射极具有内窥镜系统等表面)。反过来,密集的点云曲面重构留下了在未来的增强有很大的空间,尽管是在计算能力方面的要求非常苛刻。在这篇文章的操作部分,我们将立体图像处理过程分为以下几个部分并对它们进行详细的分析和介绍。在第一开始,我们介绍立体摄像机的校准程序及其工作原理以及立体摄像机定量的特点及其在具体应用中的作用；我们评估的失真补偿和精确的建立固有的光学参数的重要性。我们也从事与棋盘承认和实验立体相机设置的内在和外在参数评测实验。这个实验的结果证明,摄像机标定是一个复杂的过程足以带领大家来电咨询的另一种方法的可能性。接下来的一部分,我们讨论如何在相机未校准的情况下,通过使用特征跟踪算法对图片进行评估以得到图像矫正以及视差计算的可能性；尽管学生的优点显著编号以这种方法,如缺乏必要的对照相机校准和可能性来直接控制的视差计算处理的存在,这种方法被发现低效腹部器官表面跟踪由于低数量的必要的跟踪统计显著和识别的特征。因此,我们达到了一个决定进行校准的相机整改办法。然后,敲定了算法的轮廓,并提出额外的过滤,预处理和后处理模块后,我们使用MATLAB软件环境来编写程序以此建立一个软件模块原型,向该模块输入视差产生图可以以此图为基准来矫正立体视频,同时生成一个可能会显示为表面图像,该图像可能会与现有的3D模型吻合；作为操作部分的结束,我们通过一个公开的腹腔镜手术立体视频来测量该模块的处理效率和性能,并对得到的结果进行评估分析。视频是从图像引导手术实验室,伦敦帝国学院采购,并示出了腹腔镜摄像机的实验切口进入猪受试者的腹部,与检体的体内的所述照相机的随之运动和旋转的一个例子。取得的成果是与那些发表在过去几年作为国家的最先进的研究的一部分,然而,作为在本质原型,我们的软件在显著复杂性和非必要的能力方面缺乏。在这篇文章的最后,我们比较了不同的过滤算法和离群点去除技术的计算效率以及计算量。通过选取合适的过滤算法和离群点去除技术,可以更好的精炼软件模块生成的点云并且以更高级别的精确度来重构内部器官表面。我们的实验表明,3D滤波算法显著,而不是在异常值去除它们的2D类似物作为有效的要求更高。尽管利用基于GPU的处理和过滤算法,以及采用高端消费可用的计算机设置,业绩数字仍仅限于每秒不超过5帧(它本身是足以让大多数腹部手术目的,但可能成为一个更大的问题,如果额外提出的模块将在未来实现)。