三维图像可以全面描述场景的立体几何结构,随着深度获取技术的不断进步,三维图像逐渐渗透医疗、工业生产和生活娱乐等领域。实例分割作为一项兼具物体检测和语义分割的任务,具有广阔的应用前景。三维图像上的实例分割是一项具有挑战性的视觉任务,现有的实例分割框架大都是基于二维彩色图像,没有考虑将深度信息与三维几何信息利用起来。本文研究对象为三维数据中的RGB-D图像和点云图像,基于两种数据设计对应的网络框架解决实例分割问题,论文主要研究工作如下:(1)阐述了实例分割的定义与三维图像分割的研究现状,分析了RGB-D图像和点云图像实例分割的难点,同时介绍了不同深度获取技术及三维图像表现形式,以及三维图像上的特征提取方法。(2)针对RGB-D图像的实例分割任务,设计了双金字塔特征融合网络,利用卷积网络学习深度图像特征,改变输入RPN层的共享特征图,构建两种不同复杂度的金字塔深度学习网络分别提取不同分辨率的RGB及Depth特征,并将对应分辨率的两种特征相加,改变RPN输入共享特征,从而实现RGB-D图像的实例分割,并且通过对比实验进行验证。(3)针对点云图像的实例分割任务,提出了八叉树组提议生成网络,首先设计八叉树卷积模块对点云进行XYZ方向上的卷积运算,并通过多个卷积模块的堆叠获得不同尺度的特征,同时设计了softmax-hinge损失函数以进一步提高相似度矩阵的判别精度,最后通过对比实验验证该模型能够获得更高的实例分割精度。