论文部分内容阅读
无约束最优化问题在许多工程领域有着极其重要的作用.在求解无约束最优化的过程中,经常要用到目标函数的一阶或高阶导数及其相关项,自动微分是计算这些导数项的有效工具.它具有计算成本低、计算精度高等优点.本文介绍了自动微分的基本方法和基于自动微分改进的一个非精确牛顿法.自动微分技术提高了该算法的效率,但其收敛性仍然是局部的. 利用非单调线搜索技术,可以将算法的局部收敛性扩展到全局收敛性.在非凸问题上,非单调线搜索比传统的单调线搜索有更大的优势,有望找到函数的全局最优解.本文研究了一类非单调线搜索技术,提出了一种新的非单调线搜索策略,在理论上证明了该算法具有全局的收敛性,并将其应用到基于自动微分改进的非精确牛顿法中.通过数值实验,将其与单调线搜索比较,显示了该算法的有效性. 由于自动微分技术的优势,推动了高阶优化算法的发展.本文的另一个工作给出了一个基于自动微分的高阶牛顿型算法,分析了该算法的收敛性.最后,通过数值实验验证了该算法的有效性.