论文部分内容阅读
本学位论文研究线性约束的最优化问题和非线性方程组的无导数立方正则技术的理论及其方法。实际问题中经常会遇到最优化问题和非线性系统中函数的值和导函数信息不完整或者函数与导函数表达式十分复杂的情况,因此无法从计算角度精确求出导数、或者计算成本过于昂贵因而不必要使用导数信息。无导数优化方法能有效地避免使用函数和导函数信息。无导数优化方法主要是在局部范围内构造合适的模型来近似目标函数,通过现有的优化方法求最优,得到下一个迭代点后重复这个过程直到满足终止条件。目前的无导数优化方法主要有模式搜索方法,基于插值或近似逼近的方法和共轭方向方法等。现有的无导数优化方法没有基于导数的最优化理论与方法发展得成熟且其研究成果主要是处理无约束最优化问题或者简单约束最优化问题。立方正则方法是基于导数的一种比较新颖的、能保证无约束最优化问题整体收敛性的方法。一般立方正则方法中子问题的正则参数与一般信赖域方法子问题中的信赖域半径有着类似作用,且这两者从数值关系上有着某种倒数关系,目前这种方法还在研究阶段,从理论研究以及数值比较结果上分析,立方正则方法是值得研究以及发展的。本文研究将立方正则方法应用到无导数优化中去求解线性约束的最优化问题和非线性方程组。本文主要分成六章展开叙述。第一章介绍最优化理论与方法的预备知识,同时简单介绍立方正则方法的发展及其一般形式以及无导数优化方法的基本结论。第二章是研究非线性方程组的无导数立方正则方法。根据非线性方程组的特殊结构,可将其转化为非线性最小二乘问题来近似求解。通过构造方程组中的向量值函数的每个分量函数在局部范围内的线性化或二次化的多项式插值模型,可得最小二乘问题是次数不超过4的多项式最优化问题。再利用一般立方正则算法的框架来构造非线性方程组的立方正则算法,在合适的假设条件下可以证明算法是整体收敛和超线性收敛的。数值实验结果表明算法是有效可行的。第三章是研究变量有界约束优化问题。Coleman和Li[19]在用信赖域方法求解该类问题时,利用仿射技术构造了椭球约束的信赖域子问题,该子问题利用一个对角仿射矩阵等价地转化为一般信赖域子问题来近似求解。在算法构造中要求该子问题同时满足严格可行性,因此需要重复多次计算子问题。受到这种通过仿射技术处理有界约束构造椭球约束信赖域子问题并可利用仿射矩阵等价转化为一般信赖域子问题的思想和方法[19]的启发,我们应用相同的仿射技术处理有界约束,构造仿射立方正则子问题,应用相同的仿射矩阵把仿射子问题等价转化为一般无约束立方正则子问题来近似求解,同时结合线搜索技术[72]保证将子问题产生的下降方向退回可行域内,避免多次求解子问题,减少计算难度和计算量,构造出有界约束优化问题的仿射内点无导数立方正则算法,这里应用多项式插值方法局部近似目标函数。在合适的假设条件下,可以证明算法是整体收敛和超线性收敛的。数值实验结果表明该算法是有效可行且有潜力的。第四章研究相同的问题,但提出的是有限差分立方正则方法。这个方法构造同样的可等价转化为一般立方正则模型的仿射立方正则模型,与前一个工作的差别首先是这里用有限差分方法求出目标函数的近似梯度及其近似Hesse矩阵。其次算法在求方向的子问题时要求仿射立方正则模型全局最小,而前面的内点仿射无导数立方正则算法的子问题只要求到柯西步即可。最后,线搜索中使用的下降量也不相同。在合适的假设条件下可证明算法整体和局部的收敛性质并给出数值实验结果。第五章研究线性不等式约束最优化问题的无导数立方正则方法。受到Coleman和Li[20]利用仿射技术处理线性不等式约束的技巧的启发,本章构造了目标函数带有线性不等式约束信息的仿射立方正则子问题,该子问题可等价转化为带有线性等式约束的增广立方正则子问题来近似求解,结合线搜索技术可保证目标函数下降的同时使子问题产生的搜索方向退回可行域内。一般无约束立方正则方法在算法构造中需要重复求解立方正则子问题,求解出来的方向不是总能使得立方模型满足一定的拟合条件,因此方向不是总够被接受的,加大计算难度以及计算量,这里提出的算法在每次迭代中只需求解一次立方正则子问题,结合线搜索技术使得每次子问题所求解得到的方向都能够被接受,并证明算法具有良好的收敛性质。数值实验的结果表明算法是有效可行的。第六章研究求解带线性不等式约束的非线性方程组的无导数立方正则方法。研究思路是充分利用非线性方程组的结构把问题转化为带线性不等式约束的最小二乘问题来求解,应用仿射技术把线性不等式约束去掉并保存信息,构造带有线性不等式约束信息的立方正则子问题,利用线搜索技术避免反复求解立方正则子问题且保证算法的整体收敛性质和局部超线性收敛性。最后对所做的工作进行总结并指出下一步可研究的方向。