共轭梯度法的收敛性研究

来源 :长江大学 | 被引量 : 12次 | 上传用户:tianstone
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
最优化方法是运筹学的一个重要组成部分,在自然科学、社会科学、生产实际、工程设计和现代化管理中具有广泛的应用.很多实际问题都可以归结为最优化的问题来解决,最优化问题的一个核心是设计有效的算法.最优化问题根据函数的具体性质和复杂程度,可以分为很多不同的类型。根据决策变量的取值是离散的还是连续的可以分为离散最优化和连续最优化。根据模型所有函数是否连续可微,可以分为光滑最优化和非光滑最优化。根据所有函数的变量是否为线性函数可分为线性最优化和非线性最优化。无约束优化问题是最优化问题的基础,通常采用迭代法求它的最优解.求解无约束优化问题的常用算法包括最速下降法、牛顿法、拟牛顿法、共轭梯度法等.最速下降法具有存储量小,结构简单,易于实现的优点,具有良好的全局收敛性,但最速下降法收敛速度很慢,理论上只具有线性的局部收敛速度.牛顿法因其局部收敛速度快等优点而受到广泛关注,并且它具有二阶收敛速度,这使得该算法应用很广泛.然而,牛顿法需要计算目标函数的二阶导数矩阵,当Hesse矩阵▽f2(xk)奇异时,牛顿方向可能不存在,或者存在但不是f(x)在xk处的下降方向.拟牛顿法克服了牛顿法的这一缺陷,它只需计算目标函数的一阶导数,而且大多数拟牛顿法是下降算法,具有良好的全局收敛性和超线性收敛速度.由于拟牛顿法的这一优点,使得该算法成为颇受欢迎的算法.但拟牛顿法在每次迭代过程中都需要存储一个矩阵,而且确定下降方向需要求解一个线性方程组,并且该方程组的系数矩阵一般是稠密的,所以该类算法不适合求解大规模问题.共轭梯度法很好的解决了最速下降法和牛顿法的缺点,它只需要利用一阶导数的信息,就可以避免牛顿法要计算Hesse矩阵并求逆的繁琐,也解决了最速下降法下降速度慢的缺陷,因此,这是一种很受广大研究者欢迎的方法,也是求解大型最优化问题最有效的问题之一。共轭梯度法最早是由Hestenes(?)口Stiefel于1952年在求解线性方程组时提出的,并由Fletcher和Reeves于1964年推广到非线性优化领域.随后,Beale, Powell, Fletcher等著名的优化专家对非线性共轭梯度法进行了深入研究,取得了十分丰富的成果.但几乎同时问世的拟牛顿方法由于其良好的计算表现以及快速的收敛性质很快受到了人们的青睐,从而在很长一段时间里共轭梯度法被研究者所忽视.近年来,随着计算机的飞速发展以及实际问题的需要,大规模优化问题越来越受到重视,而共轭梯度法正是求解大规模问题的一种主要方法.于是,共轭梯度法的理论研究又受到人们的关注.近年来,Nocedal、Gilbert、 Nazareth、storey、A-Baali、Dai、Yuan、Wang和Wei等中外学者对共轭梯度法继续不断地深入研究,在收敛性方面得到了不少新结果,使得共轭梯度法在理论和应用上的发展日趋进步。但由于各种决定步长因子大小的线搜索和搜索方向的不同组合,使得共轭梯度法仍然是一个非常值得研究的方向。在实际问题中,非线性共轭梯度法无论在科学、工程、经济和管理系统中,还是在政府决策、生产管理、交通运输和军事国防等方面都得到了广泛的应用.本文在共轭梯度法已有成果的基础上,对共轭梯度法进行了一些探讨,提出了几种新的共轭梯度法,并获得了一些收敛性结果.其主要内容如下:第一章介绍了无约束最优化问题的相关概念,以及几种常见的求解无约束最优化问题的方法,并介绍了本文的主要工作.第二章对近年来国内外备受关注的非线性共轭梯度算法研究的现状进行了总结和归纳.第三章在根据文献中βk得出一个新的βk的取值方法,结合文献中张秀军给出的一种新的线搜索构成一种新的方法,并给出充分下降性和收敛性的证明.第四章给出了一类求解无约束优化问题的共轭梯度法,在文献中提出的新的线搜索下给出了新算法的充分下降性和全局收敛性证明;本章第二节给出新的共轭梯度法充分下降性的证明,对共轭梯度法来说充分下降性是一个非常重要的性质,它对于保证算法的全局收敛性有很好的作用;第三节给出了这类新的共轭梯度法的全局收敛性证明.第五章根据文献得到一个新的βk的取值,并和文献中的一种新的线搜索方法结合成一种新的混合算法,并给出充分下降性和收敛性的证明.
其他文献
<正> 一、样品来源及测试方法 样品来自吉林省境内的不同土壤的564个剖面样点,采样网格为20&#215;20km。样点都远离污染源,具有一定的代表性。 采集的样品放于清洁的瓷盘上摊
本文利用spss软件中所提供的统计分析功能,对北京联合大学新修订的教学质量评价表进行信度和效度分析,得出了具有一定参考价值的结果,为提高教学管理水平提供有益帮助。
本文以"档案信息反馈"为例,阐述定性和定量两种方法相互结合运用为笔者所研究的课题带来的优势,借此证明定性和定量方法相结合的研究方法会成为档案学研究的一个重要方法。
在中国共产党的领导下,基层干部职工队伍的政治思想和政治纪律尤为重要,对基层干部职工思想政治工作要求越来越高。做好基层干部职工思想政治工作,可以让基层更有坚强的政治
目的观察采用动力髋螺钉系统内固定治疗股骨粗隆间骨折的效果。方法股骨粗隆间骨折患者35例,采用动力髋螺钉治疗,分析其临床疗效。结果 35例手术切口均为Ⅰ期愈合。随访6~24个
<正>近年来,学界从不同视角展开了对齐泽克思想的研究。但由于齐泽克自身表述的繁杂、晦涩和光怪陆离,对他的研究也很容易或者沦人拉康思想所构筑的细节的陷阱之中,或者纠缠
退休问题事关广大劳动者切身利益,为政府所关心,近年来随着人口老龄化的问题加剧,关于延迟退休的研究越来越受到重视。本研究为从个体劳动者的微观角度,探索学历、性别、工作
枣树果实防裂营养剂是一种新型制剂,喷施后可以调节植物生长代谢,及时补充营养元素,防止果皮细胞老化;喷施后形成的保护膜可阻止叶片、果皮在遇雨时过多的吸收水分,使表皮细
<正> 一、评价方法 模糊综合评判涉及以下三个要素: 因素集U={u_1,u_2,…,u_m} 决断集V={V_1,v_2,…,v_n} 权重集A={A_1,a_2,…,a_m}
目的探讨蓝光照射治疗新生儿高胆红素血症的疗效及护理问题。方法对183例因高胆红素血症需要进行蓝光治疗的新生儿按入院先后顺序分为实验组92例及对照组91例。两组均给予蓝