对求解无约束优化问题的共轭梯度法中的方向参数给定了一种新的区间取法以保证搜索方向是目标函数的充分下降方向，在此基础上提出了一种新的记忆梯度算法，在目标函数的梯度一致连续的条件下证明了算法的全局收敛性，数值试验表明新算法是有效的．然后将该算法应用于以下两个方面的研究：(i)在将互补问题转化为无约束优化问题的基础上，应用记忆梯度算法求解之并证明了算法的收敛性和线性收敛速度；(ii)在通过广义D-gap函数将半定互补问题转化为无约束优化问题的基础上，应用记忆梯度算法求解之并证明了算法的收敛性．进一步，增加记忆项的项数，将记忆梯度算法推广到三项记忆梯度算法，在算法的步长选取上提出了一种新的非单调线搜索技巧，该线搜索在每一迭代步内得到较大的步长，有利于算法的快速收敛，在目标函数的梯度一致连续的条件下证明了算法的全局收敛性，并在一定条件下讨论了算法线性收敛速度．最后，应用三项记忆梯度算法求解信赖域子问题，该方法保证试探步的充分下降性，并结合线搜索技巧，即在试探步不成功时，不重解信赖域子问题，而采用非精确Armijo线搜索获得下一迭代点，从而减少了计算量．在此基础上，提出了一种带线搜索的信赖域算法，在一定的条件下证明了算法的全局收敛性．数值试验表明新算法是有效的．