【摘 要】
：
经验风险极小化问题是机器学习研究中的一类重要问题.随机梯度下降算法（SGD）是求解该问题最常用的算法之一.SGD作为梯度下降算法的一个改进,利用随机梯度代替全梯度,大大减少了计算量,因此被广泛研究.SGD由于随机性产生方差导致在求解强凸问题时仅可以达到次线性收敛速率,因此出现很多改进的方差缩减算法,包括随机方差缩减梯度法（SVRG）、方差减小的随机梯度下降法（VR-SGD）等,SVRG和VR-SG
论文部分内容阅读
经验风险极小化问题是机器学习研究中的一类重要问题.随机梯度下降算法（SGD）是求解该问题最常用的算法之一.SGD作为梯度下降算法的一个改进,利用随机梯度代替全梯度,大大减少了计算量,因此被广泛研究.SGD由于随机性产生方差导致在求解强凸问题时仅可以达到次线性收敛速率,因此出现很多改进的方差缩减算法,包括随机方差缩减梯度法（SVRG）、方差减小的随机梯度下降法（VR-SGD）等,SVRG和VR-SGD在求解强凸问题时均可以达到线性收敛速率.SVRG算法在迭代时使用的是常数步长,如果选取的步长过大会跳过最优点,如果选取的步长太小则需要很久才能到达最优点,而手动调整一个最优的固定步长在实践中又是相当耗时的.改进的带有BB步长的SVRG（SVRG-BB）算法在迭代时需要存储上一步迭代点处的梯度信息.Polyak最早提出Polyak步长并用于次梯度法.本文提出了一种带Polyak步长的随机方差缩减梯度算法（SVRGPolyak）.该算法可以根据当前迭代点处的梯度信息自动调整步长,减少了存储量,对于光滑强凸的目标函数本文证明了该算法的线性收敛性.为了验证Polyak步长的有效性,本文将Polyak步长用于VR-SGD算法,得到VR-SGD-Polyak算法.受Nesterov动量加速技巧的启发,本文将Polyak步长用于Nesterov加速的SGD算法,得到Acc-SGD-Polyak算法.针对逻辑回归问题,本文对比了SVRG-Polyak、SVRG和SVRG-BB三种算法,VR-SGD-Polyak、VR-SGD和带有BB步长的VR-SGD（VR-SGD-BB）三种算法以及Acc-SGD-Polyak、Nesterov加速的SGD算法（Acc-SGD）以及SGD三种算法,结果验证了新算法的有效性.针对岭回归问题,本文比较了Acc-SGDPolyak、Acc-SGD以及SGD,数值实验表明当达到相同的优化间隙时本文提出的算法所需的迭代次数最少.
其他文献
2010年、2015年我国分别推出了沪深300股指期货合约和上证50、中证500股指期货合约.我国的股指期货跨品种套利策略得到了蓬勃的发展.随着金融数据的爆炸式增长,影响股指期货价格的因素越来越多.因此,想要捕获不同股指期货之间的错误定价关系也越来越困难.但是,机器学习方法和人工智能技术也越来越成熟,深度学习是机器学习中的重要组成部分,在语音识别、图像处理等方面都有着杰出的表现.本文根据股指期货数
河流是地球生命的支持系统,是物质传递和能量流动的重要通道,蕴藏着丰富的资源,对人文和经济的发展具有重要影响。随着城市化进程的加深,城市河流生态系统受到不同程度破坏。北方沿海城市雨源型河流具有水源不足、水动力复杂以及自净能力差等特点,其健康诊断缺乏理论依据。本论文以山东省烟台市夹河为研究区域,以鱼类和底栖动物为指标物种,建立北方沿海城市雨源型河流生态健康诊断模型,底栖动物群落结构特征分析及水质生物学
由于城市化进程的不断加快以及人类生活质量的提高,现有城市建筑设计规划的合理性与人们对于居住环境适宜度日益增加的矛盾逐渐明显。设计阶段基于风热环境舒适度对居住区进行合理规划,可以减少后期优化成本,减少风环境诱发的行人安全隐患,增加居民的舒适度,有效解决现有城市建筑设计中与居民的需求问题。本文旨在分析不同建筑朝向下小区内部的舒适度,以及较适宜建筑朝向下的小区内部的舒适度情况并提出相应的规划意见。主要内
钢筋锈蚀会造成钢筋混凝土结构的性能退化。相较于未锈蚀钢筋,锈蚀钢筋的表观特征具有明显的不均匀性,使得钢筋本身的各项力学性能出现不同程度地退化。本文在原有研究成果的基础上,采用HRB335钢筋,通过3D激光扫描以及实体模型建立中获取的锈蚀钢筋表征指标数据,定义能够反映钢筋锈蚀不均匀性的随机变量（不均匀锈蚀系数Rλ）作为研究对象。然后对其产生影响的因素进行分类,通过数理统计分析的方法对各个因素对Rλ的
钢管混凝土组合结构因其优异的力学性能广泛应用于各类工程中,如大跨建筑、高层建筑、市政工程及桥梁工程等。随着高强混凝土和高强钢材的研究与推广应用,薄壁钢管组合结构的研究与应用广受关注。但由于薄壁钢管在轴向力下容易屈曲,薄壁钢管混凝土组合柱中薄壁钢管处于的受力状态不同,对组合柱的性能影响较大。通过试验和数值模拟方法研究了两种形式的薄壁钢管混凝土组合柱的受力性能、工作机理及其影响因素。一种是薄壁钢管与混
保险公司的再保险和投资策略一直是精算研究的热点.因此,本文研究了金融市场中合作和竞争两种关系下保险公司和再保险公司的鲁棒最优策略问题.一方面,我们考虑一家包含保险公司和再保险公司的一般保险集团,并研究这两家公司的联合利益最大化问题.由于管理者是模糊厌恶的,他将寻求一种稳健的最优投资再保险策略.假设保险公司将部分保险理赔风险通过比例再保险转移给再保险公司.同时,保险公司和再保险公司都可以投资无风险资
Toeplitz算子、Carleson测度和逆Carleson测度是全纯函数空间与算子理论研究领域的重要组成部分,有着深刻的数学物理背景,且与调和分析、算子代数、偏微分方程、量子力学等学科密切相关,是当代复分析、泛函分析、算子理论领域中的热点方向.本文在经典Bergman空间的研究基础上,进一步讨论了四种不同加权Bergman空间上的Toeplitz算子、Carleson测度和逆Carleson测
混凝土结构经常会遭受疲劳荷载和冻融循环的损伤作用,这些损伤会降低混凝土结构的耐久性,目前,学者们将研究目光放在掺加纤维和纳米材料对混凝土耐久性的影响,本文将研究掺加PVA纤维（聚乙烯醇纤维）和纳米SiO2对混凝土抗疲劳性能和抗冻融性能的影响。本文以243个混凝土棱柱体试件为主要研究对象,开展了PVA纤维混凝土（P组）、纳米SiO2混凝土（S组）和PVA-纳米SiO2混凝土（SP组）分别经历疲劳荷载
钢管混凝土系杆拱桥作为一种刚度大、跨越能力强、造型优美的桥梁结构,在公路、铁路及城市桥梁工程中的应用越来越广泛。钢管混凝土系杆拱桥的支架设计与施工作为整个工程的基础,它的安全性和可靠性决定了系杆拱桥能否顺利竣工。对于采用“先梁后拱”施工方法的钢管混凝土系杆拱桥而言,考虑拱桥系梁与支架的协同受力可以有效控制施工成本,优化施工方案。本文以某高速铁路钢管混凝土系杆拱桥为依托工程,从理论分析与有限元分析两
光正交码是一种具有良好自相关和互相关特性的二元序列码,被广泛地应用于光纤信道上的码分多址系统.根据码字重量的不同,可以将光正交码分为常重量光正交码和变重量光正交码.变重量光正交码不仅扩大了码字容量,而且应用于光码分多址系统后可使其满足多种服务质量的需求.最优循环填充设计与最优光正交码密切相关,可以将最优光正交码的存在性问题转化为对应的最优循环填充设计的存在性问题.而且循环填充设计本就是组合设计理论