近年来,计算机视觉的高速发展主要得益于人工标记的大量数据以及图像处理器制作工艺的逐步提升。作为基础的计算机视觉任务之一,图像分割具有重大的研究意义以及实际应用价值（如可用于自动驾驶、医疗影像分析、智慧农业、机器人导航等任务中）。图像分割是一个比较宽泛的概念,按输出结果的不同具体可分为以下四个子任务:无语义的一般图像分割、像素级别的语义分割、只考虑可数类的实例分割以及实例分割和语义分割相结合的全景分割。本文主要研究基于像素间关系的一般图像分割和语义分割,具体研究内容如下:1)本文首次提出使用方向超像素进行快速的一般图像分割。具体地说,本文在图像中每个像素点定义一个从距离最近的边界点指向本身的二维单位向量,然后本文根据每个点的指向将相应的像素融合成方向超像素。方向超像素具有丰富的方向信息以区分边界两边的区域,即使在微弱的边缘处方向超像素同样具有很强的判别力。基于方向超像素之间的方向相似性,本文提出快速融合方向超像素得到分割结果的高效后处理方法。2)本文提出使用方向超像素进行快速鲁棒的语义分割。不同于主流的逐像素分类的语义分割方式,本文以方向超像素为顶点构建全连接图然后进行节点分类,全连接图对顶点之间关系的有效建模使得节点特征易于分类。本文以区域为最小单位进行分类的方式可以保证整个区域内的语义一致性,避免逐像素分类导致的区域内部语义预测不一致。与逐点分类方式相比,本文方法在增加少量计算量的情况下取得了更好的性能。在一般图像分割和语义分割这两个任务上,充分的实验及可视化结果证明了本文方法的有效性。