由于建模上的卓越表现，近年来含有非凸、非光滑甚至非Lipschitz连续罚函数的正则极小化问题受到了广泛的关注。光滑逼近作为处理函数非光滑性的主要手段，已成为求解非光滑优化的重要工具。线搜索和信赖域是处理连续优化的两大算法框架。本文主要探讨如何结合光滑化和信赖域方法，为具体的非光滑、非凸正则极小化问题设计求解方法。主要工作和研究成果如下:　　(1)为基于非光滑、非凸正则项的图像复原模型设计光滑化信赖域方法。图像复原的任务通常被建模为一个无约束极小化问题，它的目标函数由一个数据拟合项和一个正则化项组成。最近，非光滑正则项在存在的边缘上的出色表现，使其受到越来越多的关注。为了处理代价函数的非光滑性，我们设计了一个新的光滑信赖域算法。我们利用CG-Steihaug算法来求解信赖域子问题，使新方法更高效，更适用于大数据情况。我们证明了新算法是全局收敛的，其最坏情况下的迭代复杂度为O(-(∈)-2 log(∈）)。与经典的Lucy-Richardson方法在多幅图像上的数值比较，也验证了所提出的方法的有效性。　　(2)为聚类分析提供了一个基于lp范数的新模型，并设计了基于光滑化信赖域框架的新算法。这个模型可以转化成一个非凸、非光滑的优化模型，它利用了一个基于lp范数的正则项，基于过参数化来控制模型拟合和集群数量之间的平衡。我们理论的证明了这个新模型可以保证集群中心的稀疏性。为了提高实际应用的实用性，我们设计了一个新的易于计算的选参标准，并提出了一个策略以缩小交叉验证的搜索区间。为了解决目标函数的非凸、非光滑性，我们提出了一个简单的光滑化信赖域算法，并给出了它的全局收敛性和计算复杂度分析。数值实验中对模拟和实际数据集的研究为我们的理论结果提供了支持，并展示了我们的新方法的优点。