非线性互补问题是数学规划领域中很重要并且非常受关注的一部分，在经济学和工程等领域有着广泛的应用。关于互补问题的研究一直是非线性科学和计算科学的热门课题，求解互补问题的算法的研究也取得了很多成果。 本文主要研究非线性互补问题,在研究了各种算法的思想和半光滑理论的基础上，对光滑牛顿算法作了进一步研究。通过对大量互补函数的研究发现，他们中的很多在形式上都有相似之处，基于这一点本文提出了一类新的互补函数，这类函数包含了经典的Fisher函数和二元最小值函数，根据这类函数可以将求解互补问题等价地转化为求解非线性方程组问题。但是这类函数在孤立点不可微，转化后得到的方程组是非光滑的。鉴于以上问题，本文构造了原函数的一个光滑逼近，将非光滑方程组转化为光滑方程组，然后用广义的光滑牛顿方法来求解。我们证明了算法具有全局收敛性和超线性局部收敛性，数值实验表明该算法在解决互补问题上有较好的效果。为了避免当函数的导数矩阵奇异时算法失效这个问题，本文在第一个算法的基础上提出了另外一个新的算法，该算法对函数的导数矩阵没有苛刻的要求。最后，选取适当的参数，在非严格可行的情况下，证明算法的收敛性，并且数值实验表明了算法具有比较好的性质。