近年来，变分正则化方法在图像处理中的应用取得了很多研究成果，建立了许多经典模型和方法。在此基础上，本文针对图像分割问题，提出了一些新的概念、模型和方法。本文的主要工作有：1.图像分割的变分模型包含数据项和正则项，通常，数据项利用L2范数，正则项由先验假设确定。在最大后验概率框架下，给出了一个新的离散模型。数据项利用迭代重加权L2范数，同时具备L2范数计算简单和混合L21范数对野点鲁棒的优点；在正则项中，给出了一个新的边界罚函数，增强了模型去除野点的能力，并能保弱边。提出一种改进的graph cuts算法求解模型。数值实验表明，新模型具有很好的图像分割效果，尤其体现在去除野点和保弱边两方面。2.研究了一类向量值极小化问题的凸松弛方法，给出了适用于split-Bregman快速算法的一般性等价模型。Vese-Chan多相分割方法和基于分片常数水平集函数的Mumford-Shah方法是新模型的特例。数值实验表明，在Vese-Chan方法和Mumford-Shah方法中应用split-Bregman算法，具有较快的运算速度和较好的分割效果，且对初始条件是鲁棒的。3.将图像超像素分割看作子空间聚类问题。给出一个约束条件，等价于以干净数据为字典。利用系数矩阵的非凸迫近p范数作为稀疏约束，利用系数矩阵奇异值的非凸迫近p范数作为低秩约束，建立非凸极小化模型。运用增广Lagrangian方法和交替极小化(AM, alternating minimization)方法给出数值计算方法。数值实验表明，新约束条件下的分割效果优于原始数据作为字典；非凸迫近p范数的分割效果优于凸的核范数和l1范数。4.给出总变差(TV, total variation)正则化的两种改进模型。第一种是加权总广义变差(TGV, total generalized variation)正则化的Mumford-Shah模型。给出了加权TGV的定义。新模型利用图像的2阶加权TGV半范作为正则项，利用水平集函数的2阶加权TGV半范近似边界长度。对未知函数分别利用交替split-Bregman方法、Fenchel对偶方法及FISTA(fast iterative shrinkage-thresholding algorithm)给出数值计算模型。仿真实验结果表明，利用图像的2阶加权TGV半范的去噪效果优于常用的梯度模2范数和加权TV半范正则化；利用水平集函数的2阶加权TGV半范近似边界长度的边缘检测效果优于传统的TV半范和加权TV半范约束。第二种是非局部总变差正则化的活动轮廓模型。在活动轮廓模型的全局连续极小化方法基础上，利用非局部总变差作为边界长度正则项。数值实验表明，新模型能将图像中的主体结构和有用的精细结构很好地分割出来。5.提出了基于拓扑优化的非线性复扩散方法。针对线性扩散会使图像边缘模糊，基于拓扑优化思想，对每个像素点的线性复扩散系数扰动，使得拓扑导数最小的扩散系数是最优的，选择拓扑导数足够小的像素点，对这些像素点用最优扩散系数进行扩散。给出了使算法迭代终止的判据。这里选取的扩散系数具有各向异性特性，有利于去除边缘上的噪声，并能很好地保留边缘。实验表明，利用新方法对原始噪声图像处理后，实部图像具有很好的去噪效果，并能有效减少阶梯效应；虚部图像则很好地保留了图像边缘。