论文部分内容阅读
无约束优化问题是数学规划中一类非常基本和重要的问题,很多最优化问题都可以归结为无约束优化问题,同时求解无约束优化问题的方法也可以直接应用或者扩展应用于约束优化问题。另一方面无约束优化问题在工业生产、科学研究以及日常生活中都有广泛应用。因此研究这类问题的计算方法,无论对于最优化的理论发展还是指导实际都有着非常重要的意义。非线性共轭梯度法是一类求解无约束优化问题非常有效的方法。它具有算法简单,易于编程以及需要存储空间小等优点,非常适合大规模优化问题的求解。随着实际应用问题越来越趋于大规模化,该方法也日益受到越来越多人的关注。那么设计实用的非线性共轭梯度法以及与之相匹配的线搜索算法就显得尤为必要了。
本文在总结已有非线性共轭梯度算法基础上,从实用角度出发,设计了实用的非线性共轭梯度算法以及与之相匹配的自适应非单调的修正Wolfe线搜索算法。主要具体工作如下:
(1)线搜索算法的好坏直接影响着共轭梯度算法效率的高低。在第二章,为了克服传统Wolfe线搜索判别条件在数值计算上的缺陷,我们提出了修正Wolfe线搜索条件,理论上说明了满足该条件的步长一定存在。设计了满足该条件的自适应非单调线搜索算法。类似Wolfe线搜索,我们证明了采用该修正Wolfe线搜索的迭代方法,同样满足Zoutenijk条件--分析收敛性用到的最基本结果。最后为了加速线搜索算法,我们设计了计算每步迭代的初始步长α(0)k的自适应算法。
(2)在第三章中,我们通过寻求距离Perry-Shanno的自调比无记忆BFGS-拟牛顿方法的搜索方向最近的共轭梯度方向,得到了一族参数βk的计算公式。为保证对于一般非线性目标函数的全局收敛性,我们提出了该族βk的截断形式β+k,证明了该族βk或β+k确定的共轭搜索方向满足充分下降条件。第四节,我们用标量τk判断目标函数在当前迭代点附近是否接近某二次函数,从而实现了对不同的目标函数在不同时机重开始的自适应重开始策略。采用该重开始策略,结合修正Wolfe线搜索,我们设计了完整的共轭梯度算法。并且证明了该算法在一定的假设条件下全局收敛。数值结果表明,该算法比目前计算效果最好的共轭梯度算法之一--cg_descent算法包更有效。
(3)我们知道共轭梯度法和拟牛顿法有着非常密切的关系。在Dai-Liao共轭条件之后,基于修正拟牛顿方法,出现了两大类修正共轭条件。在第四章,我们对第三章的共轭参数族βk(τk),提出了相应于这两类修正共轭条件的修正形式:βn1k和βn2k及其截断形式。最后在第三章的共轭梯度算法框架下,即采用自适应非单调的修正Wolfe线搜索和自适应重开始策略,我们分析了这两族共轭梯度算法的全局收敛性。最后的数值结果表明,其中修正形式βn1k确定的共轭梯度算法确实在一定程度上加速了第三章的共轭梯度算法。