聚类是一种无监督的机器学习方法。其由于不需要后验知识（即不需要人工标记）,在机器学习领域中一直占据着重要位置。K均值聚类是聚类算法中最为经典的模型,同时它也有许多重要的变种模型,例如模糊C均值模型。模糊C均值模型与K均值聚类模型的原理相同。模糊C均值模型的模糊参数m的取值范围为1到正无穷,当m接近1时,模型的性能提升。理论上,其模糊参数m取值为1时,模糊C均值模型等价于K均值聚类模型（即模糊C均值模型与K均值模型在理论上应可以统一于一个框架之中）,但是模糊C均值在参数m取值为1时的求解问题自1981年以来一直没有得到解决。模糊C均值在参数m取值为1时的性能同样也无法得知。针对此问题,本文进行了以下研究:1.提出概率K均值模型和快速最大步长梯度投影法。针对模糊C均值模型在参数m取值为1时的求解问题,提出了一种新的概率K均值模型。求解概率K均值模型是一个带有线性等式和线性不等式约束的非线性规划问题,理论上可以利用积极梯度投影法（下文简称梯度投影法）求解,但缺乏效率,所以为了高效地求解该问题,本文又提出了最大步长梯度投影法（下文简称大步梯度投影法）及其改进版本快速大步梯度投影法。实验结果从初值鲁棒性、聚类性能、下降稳定性、迭代步数和收敛速度五个方面验证了所提方法求解概率K均值模型的能力。2.在概率K均值基础上,提出P范数概率K均值模型和逆递归大步梯度投影法。针对P范数模糊C均值算法在参数m取值为1时的求解问题,提出了一种新的P范数概率K均值模型。概率K均值模型是P范数概率K均值模型的一种特例。P范数概率K均值模型同样是一个带有线性等式和线性不等式约束的非线性规划问题,利用梯度投影法求解该模型存在效率较低的问题,所以为了高效地求解该问题,本文又提出了逆递归大步梯度投影法。实验结果从初值鲁棒性、参数P影响、聚类性能、收敛速度4个方面验证了提出的方法求解P范数概率K均值模型的性能。3.以概率K均值为基础,提出核概率K均值模型。概率K均值模型有着划分聚类算法中的常见问题——难以识别非线性数据集中的簇。在划分聚类中,核方法通常用于解决此类问题,因此,将核方法引入概率K均值模型中。核聚类模型是原模型的一种扩展,同时原模型也可以视为核聚类模型的一种特殊情况。引入了核函数的核概率K均值聚类模型可以处理非球形数据集的聚类问题。实验证明了算法的有效性。4.在快速大步和递归大步梯度投影法基础上提出分块大步梯度投影法。在处理大数据集时,快速大步梯度投影法与原梯度投影法相比,提升了效率,但是仍可能会出现所需时间过长的问题,而逆递归大步梯度投影法需要维护一个大规模逆矩阵,这个矩阵所需内存可能超过最大内存,一旦算法所需内存过大会导致算法中断。针对这些问题,提出了一种新的分块大步梯度投影法,专门用于解决大数据集的聚类问题。实验证明,分块大步梯度投影法可以保证算法在大数据集上顺利运行。5.提出迭代最小切算法。对非线性可分数据集（即线性不可分数据集）进行聚类一直是聚类分析领域的一个重要问题,基于图论的聚类算法可以有效解决此类问题,但是图切模型的求解是一个NP hard问题。针对此问题,提出了一种迭代最小切算法,所提算法利用非线性规划中的梯度下降法求解。迭代最小切算法仅采用一个公式就可以将线性不可分数据集映射到一个线性可分空间,从而最终得到聚类结果,算法效果在人工生成数据集和真实数据集上得到了证明。