本文要讨论和解决了两个问题,一个有约束优化问题和无约束优化问题。有约束优化问题,在本中讨论广义简约梯度法是一种比较有效的处理非线性规划问题的方法,他的优点主要展现在它能消去变量以达到使问题维数降低的目的,从而加快了算法的收敛速度。但是广义梯度法也有比较明显的缺点,比如它需要自己每一步的迭代点都是可行的,但是这种严格的可行性在很多的情况下是没有太多用处的,这样就使算法的收敛速度大大降低。　　 本文在原来广义梯度法的基础上提出了一种新的判断迭代点是否被接受的准则,这种准则是在线性过滤方法的基础上提出的。这种准则不需要所有的迭代点都是可行的,从而大大的提高了广义简约梯度法的收敛速度和成功率,在文章里也给出了这种新的方法的收敛性证明和数值试验。　　 无约束优化问题,在本文中讨论信赖域算法,信赖域算法是比较经典的算法,它具有全局收敛性,并且算法速度和稳定性非常好,是被广泛应用的算法。但是,它也有一些自身的缺点和难点,如初始点原理最优点时,信赖域算法迭代速度比较慢。信赖域算法的收敛速度很大程度上取决于信赖域子问题的求解的次数,又因为减少信赖域子问题求解次数的关键在于信赖域半径的适当选择,所以信赖域半径的选择也是本文的关键。　　 本文提出了一种对无约束优化问题的线性搜索和信赖域算法的相结合的方法,此方法引进了自适应算法的思想,使得求解信赖域方法解子问题的次数降低,使收敛速度加快,且进一步提高了算法的稳定性,数值试验显示我们做的改进是有效的。