一种新的最速下降法

来源 :吉林大学 | 被引量 : 0次 | 上传用户:menglimengwaiszy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
非线性规划是一种求解目标函数或约束条件中有一个或几个非线性函数的最优化问题的方法,是运筹学的一个重要分支。20世纪50年代初,库哈(H.W.Kuhn)和托克(A.W.Tuc-ker)提出了非线性规划的基本定理,为非线性规划奠定了理论基础。这一方法在工业、交通运输、经济管理和军事等方面有广泛的应用,特别是在“最优设计”方面,它提供了数学基础和计算方法,因此有重要的实用价值。本文研究的最速下降法就是解决无约束非线性规划问题的经典方法之一。最速下降法是以负梯度方向作为下降方向的极小化算法,又称梯度法。是1874年法国科学家Cauchy提出的。最速下降法迭代形式如下xk+1=xk-αkgk,其中gk是目标函数f(x)在迭代点xk处的梯度向量,αk>0是步长。最速下降法是无约束最优化方法中最简单的方法,最速下降法具有程序设计简单、计算工作量小、存储量小、对初始点没有特别要求等优点。但是最速下降法也有很多不足,当我们使用传统精确线性搜索求步长的时候αk=argminf(xk-αgk),最速下降法可能会收敛的很慢。数值实验表明,当目标函数的等值线接近于一个圆时,最速下降法下降较快;而当目标函数的等值线是一个扁长的椭球时,最速下降法开始几步下降较快,后来就出现锯齿现象,下降十分缓慢。因此,通过选择新的步长来提高收敛速度成为了大家研究的方向。1988年,Barzilai和Borwein提出了新的步长选择方法(以下简称为BB法)αkBB1=arg min‖B(α)sk1-yk-1‖,αkBB2=arg min‖sk-1-B(α)-1yk-1‖,这种方法的主要思想是利用前一步迭代的信息来得出此步迭代的步长,当目标函数f(x)为严格凸的二次函数f(x)=gTx+xTHx,其中g∈Rn,H∈Rn×n是对称正定矩阵,Raydan(见[5])证明了BB法是全局收敛的。在二维情况下,Barzilai和Borwein(见[4])给出了该方法的R-超线性收敛结果,他们的分析表明,当矩阵H的条件变差,收敛速度反而变得更快。对于大规模的无约束优化,BB法表现得有竞争力,有时甚至优于几种著名的共轭梯度算法。由于BB法具有简单性和数值效率很高的特点,它启发了很多关于最速下降法的研究(见[6-10],[25-26])。BB法在高纬度情况下有很好的表现,但是这种方法不是单调的,因此除非应用某些非单调技术,否则不容易将其推广到一般的非线性函数。本文介绍了一种新的最速下降法,能够在三步迭代之内得到二维情况下的最优值,既满足了提高收敛速率,又满足了单调性。这种算法不仅能够很快的解决低维度问题,在解决高维度问题时也有不错的表现,为无约束最优化问题的发展提供了新的思路。
其他文献
为使地球物理探测技术手段更具适用性和针对性,介绍了环境污染调查中常用的物探技术方法,包括高密度电阻率法和探地雷达法。分析了物探方法在环境污染调查中的应用,包括在垃圾填埋场填埋边界及渗滤液渗漏污染调查、有机污染物调查、地下填埋固体废物调查、污染场地修复及效果评估过程监测中的应用,对环境物探技术的发展方向进行了展望,以期推动生态环境的精准查污和科学治污。
非线性方程在自然科学和社会科学领域有着广泛应用.它可以用来模拟物理过程,解决生态系统和经济系统中遇到的问题.但绝大多数非线性方程没有解析解,因此对于它的数值方法的研究具有十分重要的意义.本文针对二阶非线性椭圆方程,使用有限体积元法求解并给出严格的误差估计.首先,对求解区域进行一般凸四边形网格剖分,选取等参双线性元空间为试探函数空间,分片常数函数空间为检验函数空间,构造了相应的有限体积元格式.其次,
目的 :分析研究柴葛牵正汤治疗面神经炎的临床疗效。方法:本次将东莞市长安新安医院在2018年2月-2020年6月收治的60例面神经炎患者作为研究的对象,按随机数字表法分成两组,其中对照组30例采取常规西医药物治疗,观察组30例则采取中药柴葛牵正汤治疗,进一步比较两组临床治疗效果。结果:(1)在治疗总有效率方面,观察组与对照组比较更高(P <0.05)。(2)在面部表情肌瘫痪、前额皱纹消失、眼裂扩大
在自然语言处理的各项任务中,命名实体识别作为基础任务来说十分重要,它的准确率决定了后续任务的效果。目前命名实体识别算法的研究大多只限于新闻领域,主要识别的实体为人名、地名等,虽然取得了很好的成果,但是在实际应用过程中,需要识别特定领域的命名实体。本文从数学领域出发,探究识别数学命名实体的算法模型。面向数学领域的命名实体识别任务指从数学科技文本中识别出数学命名实体,即数学专有名词,是从海量的文献中挖
本文考虑求解各项异性扩散问题的低阶元有限体积法,包括三角形网一次元有限体积法和四边形网双一次元有限体积法,并且对这两种格式进行单调修正,修正后的格式具有单调性,即数值解具有保正性。在推导低阶元有限体积格式时,需要计算对偶单元边界线段的线积分,并将这些线积分看成是数值流,注意到这些数值流具有两点流结构。因此,可以对这些数值流进行非线性单调修正,得到修正的低阶元有限体积格式,其刚度矩阵为M矩阵,其逆矩
本文主要研究了一种特殊抛物问题的数值方法(有限差分法和有限元方法),及其在亚式期权定价中的应用.首先,我们给出了 Black-Scholes模型下算术平均亚式期权满足的抛物方程,它是一个空间二维变系数的倒向抛物问题.接下来使用了一种降维变换和远场截断的技巧,将其变成有界的一维常系数正向抛物问题.进一步,我们给出了该问题的有限元格式和有限元误差分析.最后通过升维逆变换,得到了算数平均亚式期权的数值解
图像描述任务的目的是给定一张图像,输出含有该图像的语义信息的一段描述性文字。这段文字不但要描述出图像中出现的主要实体,还要反映实体间的关系,同时也要保证描述语言的准确性和流畅性。这项任务不但要使用计算机视觉领域的和图像处理有关的技术,也涉及到自然语言处理领域的相关知识。该任务在实际生活中有着广泛的应用,例如图文搜索、人机交互等领域。目前主流的算法采用的模型是编解码网络模型,该模型分为编码端和解码端
医学图像配准是医学图像处理(病灶识别、分割)的基础,在图像引导放射治疗、肿瘤检测生长、器官图谱生成等领域有重要应用.基于迭代优化的传统配准技术已经发展成熟,但是配准速度慢,极大地限制了医学图像配准的实时性和有效性.因而,近些年越来越多的学者开始用深度学习方法研究医学图像问题,获得了优于传统算法的效果.其中,无监督神经网络在医学图像配准的过程中极大地提高了配准速度和配准精度,同时缓解了医学图像数据集
锗酸锌基Zn2GeO4(ZGO)纳米晶体具有化学稳定性好,发光性能优异,带隙调节容易,在电学、光学、催化等领域潜在的应用受到了人们关注。目前,这种ZGO纳米晶可通过固相合成法、化学气相沉积法、共沉淀法和静电纺丝法、微波水热法等多种合成方法获得。其中,微波水热合成法被认为是有效、快速且简便的一种方法。微波水热合成法可通过控制合成条件(如饱和度、温度、溶剂和前驱体),提高化学动力学生长速率,形成高结晶
最小零偏差多项式对于函数的最佳逼近理论及应用、数值求积公式的构造都有着重要的研究价值.本文在对三维四面体上的广义三角函数和与之相应的曲面四面体上的Chebyshev多项式的性质展开研究的基础上,探讨曲面四面体上的最小零偏差多项式的有关问题.首先讨论了四面体上的广义余弦函数HC4n,0,0,-4n的极值性质,在此基础上,将其极值点作为求积结点,构造了四面体上两类高精度求积公式;其次,通过对与之相应的