【摘 要】
：
机器学习及其衍生的智能系统已经广泛应用于医疗诊断、交通运输等领域.同时,有关机器学习模型与方法的研究也受到了极大的关注.因此,对机器学习及其相关课题的研究具有重要的理论与实际意义.在机器学习中,随机梯度下降（SGD）法是求解经验风险最小化（ERM）问题的常用方法.与梯度下降法不同,SGD方法在每一步迭代中仅计算随机样本对应的梯度,因此每一步具有更低的计算成本.然而,由于随机采样带来的方差,使得SG
论文部分内容阅读
机器学习及其衍生的智能系统已经广泛应用于医疗诊断、交通运输等领域.同时,有关机器学习模型与方法的研究也受到了极大的关注.因此,对机器学习及其相关课题的研究具有重要的理论与实际意义.在机器学习中,随机梯度下降（SGD）法是求解经验风险最小化（ERM）问题的常用方法.与梯度下降法不同,SGD方法在每一步迭代中仅计算随机样本对应的梯度,因此每一步具有更低的计算成本.然而,由于随机采样带来的方差,使得SGD方法在求解强凸问题时仅仅具有次线性收敛率,而梯度下降法具有线性收敛率.较慢的次线性收敛速率使SGD方法在优化领域受到质疑.不少方法致力于减小方差,改进SGD的收敛速率.作为SGD改进方法中的一种,随机方差缩减梯度（SVRG）法能够有效地减小随机采样造成的方差.SVRG因其在求解强凸优化问题时具有线性收敛速率和较低的存储需求而受到广泛的关注.SVRG选择一个固定常数作为学习率,这样做没有考虑到梯度向量的不同维度之间存在的差异.在本文中,我们提出一种带自适应学习率的随机方差缩减梯度（Ada SVRG）法.该方法使用历史梯度信息来自适应地调整SVRG中的学习率,这使得迭代更新的每个维度具有单独的动态学习率.此外,为了减小初始化设置对方法性能的影响,我们进行了初始化偏差矫正.收敛性分析表明,在求解强凸优化问题时,Ada SVRG方法具有线性收敛速率.受加速一阶优化方法中动量加速技巧的启发,将动量项结合到随机优化方法中已经成为研究热点.然而,这些基于动量加速技术的随机优化方法通常选择一个固定的常数作为学习率.本文将快速随机方差缩减梯度（FSVRG）法中的snapshot动量项和内圈循环次数增长策略结合到Ada SVRG方法中,我们称之为带自适应学习率的快速随机方差缩减梯度（Ada FSVRG）法.收敛性分析表明,当目标函数满足强凸性假设时,Ada FSVRG方法具有线性收敛速率.在Adult、Default、Statlog和Nursery数据集上的数值实验表明,对于ERM问题,当达到相同的优化间隙时,Ada SVRG和Ada FSVRG所需的迭代次数分别少于SVRG和FSVRG.
其他文献
随着永磁材料及相关电机控制技术的发展,永磁同步电机因为具有结构简单、维护方便和能量密度高等众多优点,在工业控制领域和电动汽车上有着十分广泛的应用。由于永磁同步电机使用永磁体励磁且电源激励具有非线性,激励电流和气隙磁密的谐波会导致电机产生大量谐波转矩,同时,在没有电流激励时,永磁体和定子齿之间相互作用,也会产生齿槽转矩,齿槽转矩和谐波转矩会使电机的输出转矩产生脉动,对于需要高精度控制和长时间工作的永
水泥基复合材料抗拉强度低、脆性大,在受到拉应力作用下容易开裂。掺加钢纤维可以有效抑制外荷载作用下水泥基复合材料中裂缝的出现和扩展,改善其抗拉性能、抗裂性和脆性。传统钢纤维增强水泥基复合材料中钢纤维随机乱向分布,在受力过程中,部分与主应力方向不一致的钢纤维不能充分发挥其增强增韧的作用,造成钢纤维增强作用下降。近年来制备出的单向定向钢纤维增强水泥基复合材料中,钢纤维呈单一方向分布,当其与主应力方向一致
绿色化学是化工、材料等领域的必然发展方向。生物酶催化具有绿色环保、催化性能好等优点,采用喷涂法将负载南极假丝酵母菌脂肪酶B（CALB）的溶胶固定在散装填料（316L不锈钢网）上,形成载酶填料,用于催化乙酸乙酯与正丁醇的酯交换反应。固定化酶在填料上的长效性是影响酶催化反应精馏发展的重要因素。本文在已有研究的基础上,为了改善载酶填料的长效性,对载酶涂层配方工艺进行了优化。首先,对小型精馏塔中参与酯化反
随着纳米科技的不断发展,在医药、环保和化工等领域内纳米材料的使用越来越广泛。在使用的过程中,纳米材料会通过各种途径进入环境,由此产生的影响已引起了广泛的关注。纳米二氧化铈（CeO2）具有优异的理化性质,是目前应用最广泛的纳米材料之一。纳米CeO2进入环境可能与植物发生相互作用,进而通过食物链对人类健康产生影响。因此,对于纳米CeO2的植物效应需给予更多的关注。本文选择四种不同形貌的纳米CeO2为研
气体超声波流量计较传统的气体流量测量仪表,有量程比大、精度高、无可动部件、稳定性强以及维护成本低等优点,在工业和民生上广泛使用,特别是在天然气贸易等领域备受青睐。然而气体超声波流量计市场几乎由国外厂商垄断,国内少有精度高、性能好的气体超声波流量计厂商。为此本课题从流量计中的信号采集与处理角度出发,深入剖析超声波信号的特性,设计出一种能有效提高精度的超声波信号处理算法,并在基于DSP的气体超声波流量
氢被认为是最有前途的“零碳”清洁能源,从储层中释放氢气是储氢材料研究中的一个关键挑战问题。氨硼烷（NH3BH3,AB）以高氢含量（19.6wt%）被认为是潜在的固态储氢材料,其水溶液在适合催化剂存在下可快速水解释放高纯氢。目前已经证明由两种非贵金属形成的复合体系在氨硼烷的水解释氢中具有比较优异的活性,但进一步提高催化活性和稳定性仍是难题。催化活性很大程度上取决于金属纳米粒子（NPs）的尺寸,粒径越
随着经济的不断发展、能源危机日益严重,发展清洁高效的储能设备成为研究者关注的热点。锂离子电池因其具有能量密度高、使用寿命长、自放电小、对环境无污染等优点,在储能领域具有良好的应用前景。随着移动电子设备和新能源汽车不断发展,商业化的石墨负极材料因其理论比容量较低(372 m Ah g-1),已经不能满足对储能装备的供电需求。氧化物负极材料虽然具有较高的理论比容量,但是其在充放电过程中存在较大的体积膨
聚偏氟乙烯（PVDF）具有优良的热稳定性、化学稳定性和较低的表面自由能,是制备疏水膜的理想膜材料。采用水雾诱导相分离法可制得超疏水PVDF膜,但膜的力学性能和机械稳定性差,膜表面结构易损坏,从而导致超疏水性丧失。为提高膜的力学性能和表面耐久性,本文采用优化的水雾诱导相分离法制膜,以三种高强度、高硬度的无机纳米粒子为添加剂,分别制备PVDF杂化膜,对各纳米粒子对PVDF杂化膜结构与性能的影响进行了研
氢气作为一种绿色环保的新能源拥有十分诱人的应用前景。电解水制氢由于其方法简单、机理明确、成本低廉等被认为是最具开发前景的技术手段。降低电解水过程中的能耗一直是科研人员追求的目标。根据研究,电解水反应分为阳极析氧反应（OER）和阴极析氢反应（HER）。其中OER反应中电子转移过程复杂并且受到中间体吸脱附结合能制约,导致该反应通常需要高的电位。而析氢反应受到贵金属催化剂成本限制无法大规模应用。因此,有
人的视网膜十分脆弱,极易遭到破坏,使患者的视力受到不同程度的损伤。年龄是影响视力的重要因素之一,随着我国老龄化程度不断加深,眼科疾病诊疗的需求急剧增加。OCT是近年来广泛应用于眼科疾病诊断的新型成像技术,在临床中,眼科医师往往需要在短时间内处理庞大的OCT图像数据,这不仅使医生的工作压力不断增加,而且增大了误诊的机率,使患者不能得到及时有效的治疗。为解决这种眼科疾病患者多、医生少,医疗压力巨大的问