聚类分析是数据挖掘、机器学习以及模式识别领域的重要组成部分.其基本思想是基于数据点之间的相似性将一组数据划分为若干个不同的簇,且使得同一簇中的数据点相似性尽可能高而不同簇之间的数据点相似性尽可能低.聚类分析在许多领域都有着广泛的应用,如:图像处理、生物信息、社交网络等.经过几十年的研究,学者们提出了k-均值聚类、高斯混合模型聚类、谱聚类、子空间聚类等经典的聚类方法.这些聚类方法通常都需要在执行前输入聚类类别数,但是确定无标签数据集的聚类类别数是非常有挑战的任务.本文基于正则技术和回归方法系统地研究了不需要事先给定聚类类别数的融合正则聚类的优化模型、理论和算法.针对高维数据,我们提出稀疏组Lasso凸融合正则聚类方法.该方法具备同时进行数据聚类和特征选择的能力.在理论方面,借助于正则项的凸性和可分性,证明了稀疏组Lasso凸融合正则聚类模型的预测误差有界性和特征选择一致性.在算法方面,我们设计了半邻近交替方向乘子算法求解该模型并证明了其全局收敛性.最后,在合成数据集和基因表达数据集上的实验结果表明稀疏组Lasso凸融合正则聚类方法在聚类和特征选择上具有优异性能.对于凸正则项可能导致有偏估计这一不足,本文基于l0罚函数提出非凸非连续的l0融合正则聚类模型.在理论方面,我们分析了l0融合正则聚类模型最优解的存在性,并推导了正则参数的上界.然后,建立了该模型的Karush-Kuhn-Tucker（KKT）点,α-稳定点以及局部最优解之间的关系.此外,我们基于α-稳定点揭示了该模型的聚类机制,并证明不同的聚类中心之间的距离大于一个给定的阈值.在算法方面,我们采用交替方向乘子算法求解该模型,并证明其所产生序列的极限点是α-稳定点,也是局部最优解.最后,在合成数据集和真实数据集上的实验结果表明l0融合正则聚类方法具有出色的聚类性能.针对上述的l0融合正则聚类模型,我们设计了一种收敛速度快且计算复杂度低的二阶优化算法.据我们所知,这是非凸融合正则聚类框架下的第一个二阶算法.注意到l0融合正则聚类模型是复合行稀疏正则（c RSR）极小化问题的特例.为使研究结果有更广泛的适用性,我们系统地研究c RSR极小化问题的最优性条件、优化算法和应用.在理论方面,我们建立了该问题的critical稳定点,α-稳定点,强α-稳定点,局部最优解以及全局最优解之间的关系.然后,基于（强）α-稳定点推导出一个至关重要的稳定方程.在算法方面,我们基于此稳定方程设计了易于实现的牛顿算法,并在一些温和的假设下建立了该算法的二次收敛速率和迭代复杂度.最后,我们采用此算法求解l0融合正则聚类模型和趋势滤波问题.大量的实验结果说明所提方法具有很好的数值表现.