本文主要研究非单调技术和过滤集技术在最优化和非光滑方程组中的应用.在光滑非线性优化和非线性方程组问题中，过滤集技术已获得了成功的应用.现在，我们把过滤集技术引入到非光滑优化和非光滑方程组中，以及将过滤集技术和锥模型、信赖域技术相结合来解光滑非线性约束最优化问题.我们给出了解上述问题的算法并证明了它们的收敛性，对部分问题进行了数值试验. 第1章中，我们给出了本文所用的一些记号和定义，简单地介绍了一些凸分析和非光滑分析、以及非单调技术和过滤集技术的基础知识. 第2章主要研究了解非光滑方程组的过滤集信赖域方法，讨论的方程组的函数仅仅是局部Lipschitz的，我们介绍的算法主要是利用了过滤集技术和信赖域方法各自具有的优点，这个算法也是经典Levenberg-Marquardt方法的推广，主要思想是用一个光滑函数来逼近局部Lipschitz的函数，在算法中需要导数的地方就用逼近的光滑函数的导数，在一组标准假设之下，我们给出了算法的全局收敛性证明. 第3章主要研究了解LC1无约束最优化问题的过滤集信赖域方法，主要运用了二阶Dini上方向导数.这个算法是[31]解光滑无约束最优化问题过滤集方法的推广，在一组标准假设之下，我们证明了该算法的全局收敛性. 第4章主要研究了解非线性约束最优化问题的锥信赖域过滤集方法.信赖域方法是一个强有力的优化方法，锥模型方法与二次模型相比，是一个具有更多可用信息的新型方法，过滤集技术是一个由Fletcher和Leyffer提出的代替评价函数并保证全局收敛的解非线性规划的方法，我们的工作是综合这些技术，构造一个解非线性约束最优化问题的锥信赖域过滤集方法.在一组标准假设之下。我们证明了该算法的全局收敛性. 第5章主要研究了解无约束最优化问题的非单调信赖域方法，对于无约束最优化问题，为了保证算法的总体收敛性，通常的信赖域方法在迭代过程中要求保持目标函数值单调下降，但这往往会使算法收敛速度减慢.本文给出非单调信赖域方法，允许目标函数值在某些步上升，而保持其全局收敛性和超线性收敛性.数值试验表明，非单调信赖域方法优于通常的信赖域方法.