互补问题与线性规划、非线性规划紧密联系,在力学、工程、经济、运筹学、金融、控制等许多领域有广泛的应用。理论上,我们需要研究互补问题解的存在性、唯一性等,算法上主要研究求解这类问题的高效算法,特别是基于已有光滑优化理论方法来构造互补问题的不同光滑函数以设计高效的光滑化算法。本文主要的研究工作包括：1.对于线性互补问题,先分析了带有特殊矩阵的线性互补问题解的存在性、唯一性等问题。又从矩阵M和向量q的凸分解的角度分析了线性互补问题均衡解的存在形式与识别方法,并设计了求解线性互补问题均衡解的直接算法,具体的算例说明了算法的可行性。2.我们首先从导函数的角度得到了绝对值函数的光滑化函数,并分析了光滑化函数的性质。在绝对值光滑化函数的基础上提出了求解非线性互补问题的非精确光滑化牛顿法,在假设水平集有界的条件下证明了算法的全局收敛性和局部超线性收敛性。最后通过数值实验说明了算法的高效性。3.在原光滑函数的基础上得到扰动光滑函数,分析了光滑函数的逼近程度。关于非奇异性的分析添加了新的扰动项。在算法设计中基于原来的算法增加了非奇异性的判断,数值实验说明了算法的可行性。最后进一步观察了非精确参数对算法的数值结果的影响。