内窥镜检查是常规临床应用中的一部分,用于微创检查和治疗。与传统的开胸式手术相比,微创手术具有创伤微小、住院时间短、术中疼痛感小和术后恢复快等特点。但由于内窥镜的观察视野比较狭窄,外科医生在手术时对内窥镜位置的确定和手术器械的感知变得非常困难。利用三维重建技术可以恢复出手术区域的三维形态,对术中和术后的分析都有极大的帮助。本文对基于特征的软组织三维重建与跟踪方法进行了研究,主要包括特征检测、特征匹配和三维曲面重建与特征跟踪三个部分。首先,对内窥镜图像进行特征检测。本文将特征检测分为特征提取和特征描述两部分,在特征提取部分,对FAST特征提取算法进行了详细研究。针对其构建的决策树存在分类效果较差的问题,基于C4.5算法进行决策构建,同时将原数据进行划分用于双决策树构建,使特征提取性能更稳定,特征点提取更高效。在特征描述部分对FREAK描述子进行了研究,将其与本文改进的特征提取算法相结合,在尺度空间提取特征点,根据特征点在不同尺度下的响应得分进行二次函数拟合,得到亚像素精度的尺度不变描述子。在内窥镜图像上的实验结果表明,本文特征提取方法具有较高的提取量和较快的提取速度,本文特征描述算法具有较高计算效率。其次,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)的特征匹配方法。针对传统特征匹配方法在内窥镜图像上鲁棒性较差的问题,设计了一种基于CNN的特征匹配方法。在内窥镜视频中的一定长度起始帧上生成特征点的训练数据集,将数据集用于CNN的训练,后续待匹配帧中的特征点通过已训练CNN得到其对应的分类结果,然后根据待匹配帧中的特征点分类结果实现特征匹配。通过在内窥镜图像上进行实验,本文方法相较其他匹配方法具有更高准确度和良好的方向不变性与尺度不变性。最后,用双目几何约束和Delaunay三角剖分方法进行三维曲面重建和特征点跟踪。通过左右两帧中的特征点匹配关系和平行式双目相机参数恢复出特征点的三维坐标,将空间离散点投影到二维平面并使用逐点插入法进行Delaunay三角剖分,然后结合划分后的三角区域的纹理贴图结果恢复出三维曲面,计算同一特征点在不同帧位置,实现特征跟踪。在内窥镜视频上进行实验,重建结果符合软组织表面形状,特征跟踪结果符合软组织运动情况。