实例分割是一种最接近人类真实视觉感受的计算机视觉任务,在自动驾驶领域有着很高的应用价值。实例分割承担着多个视觉任务,不仅要完成目标检测中的分类和定位任务,还需要对每个不同的目标进行分割,因此实现一种准确率高、速度快的实例分割算法尤为困难。随着Mask R-CNN算法的提出,实例分割领域迎来了一种效果较好、扩展性强的网络框架。但Mask R-CNN算法在分割边缘等细节的处理上不够细致,并且速度较慢。为了提升实例分割网络的性能,并将图像实例分割扩展到视频实例分割中,本文对图像分割和视频处理等相关算法进行了分析和研究,提出了改进的实例分割算法和视频实例分割算法。首先,本文提出了一种融合空洞卷积和边缘信息的实例分割算法。算法使用混合空洞卷积替代原始特征提取网络中的部分池化操作,在增大特征图感受野的同时保持分辨率不变,以避免池化和去卷积过程带来的信息丢失。此外,以辅助网络的形式将边缘检测分支添加到网络末端,并将边缘检测结果作为网络损失之一,在提高边缘处理精确度的同时加速网络收敛。通过实验验证,本文提出的算法在平均精度上高出原始算法6.8%,并在在当前先进算法中具有一定的竞争力。另外,本文提出了一种考虑帧间关系的视频实例分割算法。将深度特征流融入到网络中,只对关键帧进行特征提取,利用关键帧与当前帧之间的流场和尺度场,计算当前帧的特征图。为了实现视频帧之间的特征传播,文中还提出了一种帧间关系的结合方法,使通过特征金字塔得到的多层特征可以在帧间进行传播。算法使用特征传播代替特征提取,提高算法运行速度。通过实验验证,本文算法能够在保证较高质量分割效果的同时,提升视频分割效率。