Goldstein线搜索下的伪牛顿信赖域算法及其收敛性

来源 :首都师范大学 | 被引量 : 0次 | 上传用户:zjlzjl943
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对于非线性优化问题特别是无约束最优化问题,寻找其快速有效的求解方法一直是优化专家们研究的热门方向之一.其中线性搜索方法和信赖域算法是两大类非常重要的方法.这两类方法都有各自的优缺点,为了充分发挥这两类方法的优势,将这两类新方法相结合的思想逐渐发展产生了许多新的算法,其中大部分都具有良好的数值结果.本论文正是基于这种思想而提出了一种新的线性搜索方法和信赖域算法相结合的求解方法. 线性搜索方法一直是求解无约束优化问题的一类重要的算法,其中拟牛顿法是目前最成熟,应用最广泛的算法之一.自从第一个拟牛顿法DFP方法于1959年由Davidon提出,特别是Fletcher和Powell于1963年重新改写之后,对拟牛顿法的研究引起了广泛的重视,其收敛性问题的讨论也受到了人们的关注.拟牛顿法具有许多优点,比如:迭代中仅需一阶导数,不必计算Hesse矩阵,当H<,k<正定时,算法产生的方向均为下降方向,具有二次终止性等.在一定的条件下,文献[1,2,3,4,5]等给出了除DFP算法外的Broyden族算法的超线性收敛性,以及它具有n步二阶收敛速率的性质.拟牛顿法的缺点是所需存储量较大,对于大型问题,可能遇到存储方面的困难.随着对拟牛顿算法的深入研究,基于修正拟牛顿方程的一些非拟牛顿算法的研究也吸引了不少国内外学者.1991年,Ya-Xiang Yuan<[6]>提出了一种修正的BFGS算法;1995年,Ya-Xiang Yuan、Richard.H.Byrd<[7]>给出了一类非拟牛顿校正算法;同年赵云彬、易正俊<[8]>提出了伪Newton-δ族算法,并证明了算法在Goldstein搜索下对一般目标函数的收敛性;1997年,陈兰平、焦宝聪<[9]>教授在此基础上提出了一类新的非拟牛顿算法.这些算法中有些校正公式不满足拟牛顿方程,但同样具有二次终止性,矩阵的正定传递性,在精确和非精确线性搜索下的全局收敛性和超线性收敛性. 信赖域算法也是求解非线性优化问题的一类非常重要的数值计算方法,近些年来受到了非线性优化研究界非常的重视,一直是非线性优化的研究热点.其优点是它便于应用于大规模的具有稀疏Hesse矩阵的无约束问题和约束最优化方法中去.这是因为,当我们将拟牛顿法推广到稀疏无约束问题时,很难在保持稀疏性的前提下保证矩阵的正定性,而信赖域方法通过解一个带约束的优化子问题来代替线性搜索可以很好的解决这个问题. 与线性搜索方法相比,信赖域算法不仅具有很强的收敛性<[10]>,而且对于病态问题也能有效地解决,需要的迭代次数少,但由于求解子问题花费代价高,往往不易求解新的迭代点,而线性搜索方法易于求得新的迭代点;为充分发挥两种方法的优势,1991年,Jorge Nocedal和袁亚湘<[11]>提出将线性搜索方法和信赖域算法相结合来构造新计算方法的思想,在文[12]中,他们采用回溯(backtracking)线搜索,优点是不需重解子问题,大大减少了计算量,但为了保证序列{B<,k>}的正定性,却使得一些B<,k>未能满足拟牛顿方程,这样做往往使B<,k>逼近▽<2>f(x<,k>)的效果不佳,从而信赖域子问题不能很好地逼近原问题.此外,1993年,邓乃扬等人<[13]>首次提出了一类非单调的信赖域算法,并证明了此类算法的优越性.2004年,E.Michael Gertz<[14]>提出了一种新的带线性搜索的信赖域方法,它不仅继承了文[12]中方法不需重解子问题的优点,而且由于在每步都采用Wolfe线搜索,使得序列{B<,k>}满足拟牛顿方程且保证其正定性,充分开发了拟牛顿校正公式的性质,克服了文[12]中方法的缺点. 基于对两种算法结合的考虑,本文提出了一种新的在Goldstein搜索下基于伪Newton-δ族校正公式的信赖域算法.此算法是基于非拟Newton方程,结合伪Newton-δ族算法给出的一种求解无约束非线性优化问题的新算法.由于赵云彬等已经证明了伪Newton-δ族算法在Goldstein搜索下对一般目标函数的收敛性,我们期望这种新的信赖域算法对一般目标函数有好的收敛性.数值实验表明,此类算法具有良好的计算效能和数值结果. 第一章我们简要介绍最优化问题的提出以及判断最优解常用的最优性条件,回顾无求解约束优化问题常用的几类算法. 第二章我们对Goldstein线搜索下的基于伪Newton-δ族校正公式的新信赖域算法的理论进行阐述,对其收敛性进行分析与证明,并进行适当的数值实验,以验证算法的有效性. 第三章我们提出了一类新的非拟牛顿非单调信赖域算法,该算法采用非单调Goldstein线搜索,基于非拟牛顿校正公式,是一种新的信赖域算法,同时我们证明了它的收敛性.
其他文献
期刊
本文主要研究与孤子方程相关的Lie-Poisson Hamilton系统的两方面内容:第一,讨论与一个孤子方程相关的Lie-Poisson Hamilton系统之间的关系.其一,与一个孤子方程相联系的标准
摘要:混凝土裂缝是建筑施工较为普遍的质量通病,裂缝产生的原因是多样的。但在施工中我们做出相应的对策耒减少或避免裂缝产生。本文对常见的裂缝提出一些预防措施作出探讨。  关键词:混凝土、裂缝、原因、控制、预防措施  Abstract: the concrete crack is building quality problems common construction, the cause of th
期刊
对于弹性有摩擦接触问题,可以建立一个变分形式的数学模型,这类问题的关键和难点是建立其变分泛函和求解方法。近几年发展起来的变分不等式方法为弹性有摩擦接触问题的求解提供
生产计划管理中的一个非常重要的问题就是如何充分利用有限的资源去完成预定生产计划使得预期的目标达到理想或最优,其中的众多问题可以描述为排序模型.当有多个指标需要综合
本文对代谢综合征的相关分析及其在核保中的应用进行了探讨。文章通过聚类分析得出代谢性疾病的并发风险,建立了风险因素识别模型,找出代谢综合征的患病风险因素,并且分析它们的
本文采用构造法,研究凹型区域上双曲型外问题和抛物型外问题的人工边界条件及其数值计算.第一部分,研究凹型区域上双曲型初边值外问题的人工边界条件及其数值方法.利用构造法给出
全文共分三章,考虑了两类具有实际意义和研究价值的非线性发展方程的数值方法,分别提出了求其近似解的特征中心差分法和高次有限体积元法,并对其进行了严格的理论分析. 第一章
自神经网络理论提出以来,其研究和应用得到了迅速发展.因其在联想记忆,优化计算,自动控制等领域中的巨大应用,神经网络定性分析引起了很多专家学者的注意,并已获得了大量的研
本文研究的是技术进步是希克斯中性的,具有资金服役时间的投资控制模型。由于对含有时滞的经济系统的研究,有助于我们加深对社会经济系统的认识,提高对宏观经济的调控能力,所以本