用于深度学习的一种改进L-BFGS算法

来源 :首都师范大学学报:自然科学版 | 被引量 : 0次 | 上传用户：champhorse

【摘要】

：

本文提出了一种改进的L⁃BFGS算法,该算法利用相邻迭代点梯度之差,以及由此定义的矩阵与向量之间的乘积的线性组合来更新向量对,进而构造新的Hessian矩阵近似.改进算法将迭代方向进行单位化,以保证所提算法的稳定性.在MNIST和CIFAR10数据集上进行了实验,结果表明改进的算法具有更好的稳定性,与带动量的随机梯度下降法、AdaGrad以及L⁃BFGS等算法相比,具有更好的实验表现.

【作者】

：

赵睿颖

【机构】

：

天津大学数学学院

【出处】

：

首都师范大学学报:自然科学版

【发表日期】

：

2021年5期

【关键词】

：

深度学习二阶优化方法拟牛顿法 L⁃BFGS算法

【基金项目】

：

国家自然科学基金项目(11871051)。

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

北京中山公园二维码植物解说的应用效果研究

近年来,二维码技术开始应用于公园植物解说,成为公园发挥科普教育功能的重要途径之一.然而,对二维码植物解说实际使用效果的测评相对缺乏.本文基于北京中山公园二维码植物解说牌的1年扫描记录,结合该公园的植物物候特征,统计了二维码植物解说牌的扫码量及其时相分布,分析游客的植物认知偏好.研究表明:二维码植物解说牌整体扫码量低;休息日的扫码量高于工作日;木本植物的扫码比例高于草本植物;园内特色植物和植物的主要

期刊

植物解说二维码北京中山公园

基于Arduino技术的光电搬运机器人设计与编程(二):颜色识别与物块捕获

本文将运用Arduino IDE提供的库函数,实现物块的颜色识别和超声波测距.通过对物块颜色的识别来确定搬运的目标位,设计机器人小车的行驶路线.利用超声波测距,动态调整机器人小车与目标物块的相对距离,对机器人小车准确捕获物块起着重要作用.

期刊

光电搬运ARDUINO颜色识别超声波测距

用于深度学习的一种改进L-BFGS算法

其他学术论文