自然图像与视频的分割问题是计算机视觉研究领域的重要基础课题，也是长久以来的研究热点与难点。近年来，随着消费级影像采集设备的日益普及和互联网共享多媒体数据的爆炸式增长，各类应用对于图像与视频处理能力的要求也越来越高。图像与视频分割算法作为计算机视觉技术的基础模块，对目标检测识别、语义解析、场景理解、目标行为分析等其他视觉任务的性能有着重要影响。本文紧密围绕自然彩色图像与视频序列中的目标分割问题，从单幅图像分割、多图像协同分割以及视频分割三个层次开展了系统的研究工作。各层次的研究工作逐层递进，研究内容覆盖无监督图像分割技术、交互式图像目标分割技术、图像集合一致性关系挖掘及目标协同分割技术、在线的视频目标语义分割技术，提出了一系列性能优越的图像视频分割算法。　　首先，对于无监督图像分割问题，传统的基于随机四色标记策略的迭代分割算法往往在染色过程中表现出较大的随机性及不规则性，且染色过程有时非常耗时，使分割模型的构建和优化求解复杂低效。本文方法通过对初始过分割区域进行全局特征关联，进而设计启发式的四色标记策略，有效地提升了算法对于复杂图像的分割效率和分割性能。　　其次，提出了基于类属标准形状集最优形状先验自动选择与约束的交互式图像目标分割方法，克服了形状约束共性与个性的矛盾。通过创造性地将点集配准算法用于形状匹配映射，并设计了标准形状先验排序机制，从而使本文方法能够自动地为不完备目标分割筛选出最优形状先验。最终，通过施加这一个性化的先验约束，交互式目标分割算法性能得到有效提高。　　此外，本文还将形状先验信息引入图像协同分割问题，提出了基于图像集共同形状模式挖掘、表达与约束的目标协同分割方法。通过创造性对初始目标分割边界进行非刚体形状映射、聚类，有效挖掘了图像集合中的共同形状模式。进而通过判断当前目标初始分割形状与共同形状模式的归属关系，实现了对初始目标分割完备性的判别。最终，通过为图像集合中的不完备初始目标分割施加个性化的共同形状约束，有效提高了图像集合目标分割性能。　　再次，针对协同目标分割中的多目标分割问题，提出了基于多目标自动搜索策略的动态优化算法框架，有效分割出图像集合中出现的复杂组合目标以及不定数目共同前景目标。此外，为了增加目标候选相似关联度特征权值设定的灵活性，在该算法中提出了自适应的特征权值系数设定策略。该策略可根据待分割图像集合的自身特点，自动地设定恰当的特征权值参数，使得本算法的适用范围更为广阔。　　最后，针对视觉机器人采集视频的在线目标语义分割问题，提出了在线处理机制与“从检测到分割”策略相结合的视频分割算法框架，可高效地分割提取处于任意运动状态的语义目标，且对目标在视频中的出现频率、时间无任何限制。算法中提出的检测片段验证策略可有效消除误检及弥补漏检目标，提出的双向记录关联策略可将批次间的分割结果进行有效关联，从而实现根据批次目标分割获得同一目标长时序的分割结果。