【摘 要】
：
近年来,随着深度学习领域采用的数据集规模和深度学习模型规模的增长,深度学习技术在许多领域取得了突破性的进展,同时这也给深度学习模型的优化带来了挑战。因此,许多研究者开始研究采用分布式计算的方法对神经网络这类非凸模型进行优化。去中心化的分布式非凸优化算法受益于无中心的网络拓扑通信负载均衡的特点,成为了学术界研究的热点。尽管目前去中心化分布式非凸优化算法的研究取得了一定进展,但一个重要问题未得到解决。
论文部分内容阅读
近年来,随着深度学习领域采用的数据集规模和深度学习模型规模的增长,深度学习技术在许多领域取得了突破性的进展,同时这也给深度学习模型的优化带来了挑战。因此,许多研究者开始研究采用分布式计算的方法对神经网络这类非凸模型进行优化。去中心化的分布式非凸优化算法受益于无中心的网络拓扑通信负载均衡的特点,成为了学术界研究的热点。尽管目前去中心化分布式非凸优化算法的研究取得了一定进展,但一个重要问题未得到解决。“在非凸优化问题中,去中心化的分布式优化算法是否可以像有中心分布式优化算法一样取得或者逼近理论最优收敛率”仍是不清楚的。本文对上述问题展开了研究。本文的主要研究内容和贡献如下:1.本文研究了影响去中心化分布式非凸优化算法收敛率的主要因素。在此基础上,针对无中心网络拓扑对梯度估计带来误差这一问题,本文将方差衰减类优化算法的梯度估计方差控制技巧引入到去中心化的分布式优化算法中,提升了每个计算节点梯度估计的准确性。本文提出了 decentralized SPIDER-SFO（D-SPIDER-SFO）算法,并从理论上证明算法 D-SPIDER-SFO在非凸优化问题上取得了与其对应的有中心分布式版本一致的收敛率O（（?）-3）。这是目前去中心化分布式的优化算法在非凸优化问题上取得的最佳收敛率。本文在实验上验证了 D-SPIDER-SFO在收敛速度上的优势。2.为回答问题“在非凸优化问题中,去中心化的分布式优化算法是否可以像有中心分布式优化算法一样取得或者逼近理论最优收敛率”,本文分析了在有限和非凸优化问题下的理论最优收敛率,并证明算法D-SPIDER-SFO在去中心化的分布式有限和非凸优化问题上可以取得该理论最优收敛率。这不仅给了上述问题一个肯定的回答,还从理论上说明了去中心化的分布式优化算法和有中心的分布式优化算法的极限收敛速度是一致的。
其他文献
在国际环境日益复杂、新冠疫情对各国经济造成深远影响的背景下，我国服务贸易发展遭遇瓶颈。本文以跨境电商为研究对象，从理论层面对跨境电商发展影响服务贸易发展进行讨论和分析，基于2010-2020年全国服务贸易数据，构建面板数据模型和中介效应模型对我国跨境电商发展水平、人力资本发展和服务贸易之间的关系进行了实证检验。结果表明，跨境电商发展对服务贸易发展具有显著的推动作用，并且人力资本发展在跨境电商发展提
本文是一篇翻译实践报告。译材选自威廉·L·克利夫兰和马丁·邦顿合著的《现代中东史》（A History of Modern Middle East）第一章和第二章。原文本以中东政治状况为重点,介绍了中东8世纪末至21世纪初的历史,同时又涉及社会、经济和思想意识方面的内容,清晰勾勒出中东发展的脉络。此次翻译实践旨在提高笔者自身翻译实践能力和对中东历史的认识。笔者选译的第一和第二章主要讲述伊斯兰教的兴
我国是全球家电的重要生产基地，近两年在疫情的催化下，小家电作为出口优势品类发展迅猛。文章分析了跨境电商背景下我国小家电行业供应链管理存在的问题，针对目前跨境电商中国内小家电行业产品出口种类少、品质参差不齐，库存控制难度大，物流成本高和供应链整体利润降低等问题，提出调整选品策略，发展“同线同标同质”产品，实现海外仓备货，消除双重边际效应等优化措施。
小桐子（Jatropha curcas L.）因其种子含油量高而被认为具有良好的发展前景,并且在生物制药等方面也有广阔的开发前景。但是由于小桐子种植范围较窄,并且种子的产量低,无法大面积推广,因此急需进行遗传改良的研究。树皮贮藏蛋白（bark storage protein,BSP）是多年生木本植物在越冬时氮储存的一种形式。本研究从小桐子基因组数据库中鉴定到6个小桐子BSP基因（JcBSP）家族成
伴随电子设备高集成化、大功率化及小型化的发展趋势,电子器件的电磁干扰问题日益严重,极大影响仪器的稳定可靠运行;同时,电子器件在低温寒冷等恶劣环境下使用时,器件的运行效率等也会受到明显的影响。因此,开发具有良好电磁屏蔽及光热转换等特性的功能复合材料,满足电子器件在电磁干扰、低温寒冷等不同环境下的稳定可靠运行,已成为目前研究的热点和焦点。聚合物材料拥有低成本、易加工的优势,被广泛应用于电子领域,向聚合
长周期彗星（Long period comet,LPC）较好地保存着早期太阳系形成时的原始物质,对其动力学的研究是当前太阳系小天体研究的前沿领域。通过对LPC的研究,能加深对LPC轨道演化的认识,深入了解太阳系早期历史,进一步探究奥尔特云的结构,为航天器探测LPC提供相关研究资料。本文基于 JPL（Jet Propulsion Laboratory）和 MPC（Minor Planet Cente
互联网技术的高速发展推动了世界经济一体化，特别是跨境电商得到了有目共睹的发展，跨境电商是一种全新的国际贸易形式，但在实践过程中会受到文化差异影响。特别是在以网络平台为载体进行营销的过程中，受到观念、风俗、语言、文化等诸多因素的影响，势必会产生一些问题，为了有效落实营销工作，有必要探究文化差异下如何开展跨境电商网络营销。基于此，文章分析了研究文化差异下跨境电商网络营销的意义以及文化影响与跨境网络营销
随着社会经济的不断发展和人口的持续增长,无线网络中的数据总量和终端数量急剧增大,移动通信系统需要不断演进以提供更强的吞吐能力。第五代（5G）移动通信系统重点关注收发端的优化,未将无线信号的传播环境纳入优化的范畴内。由于无线信号传输环境的随机性,信号到达接收端的多条路径具有不同程度的衰减和延迟,这限制了无线通信系统能量效率和频谱效率的提升。近年来,学术界提出一种全新的智能无线电环境（Smart Ra
新中国成立以来,我国开始了伟大的社会主义工业化进程,中国逐渐发展成为世界性工业大国,国家经济发展与国民生活水平显著提高,但同时产生了环境污染现象。大气污染、水资源污染等环境污染问题频发迫使人们思考生态环境与自身生存发展紧密相关,想要保护环境的心情也愈发迫切。2018年3月11日,第十三届全国人民代表大会第一次会议通过的《宪法修正案》将“生态文明”、“美丽中国”纳入宪法文本的序言之中,并在国家机构一
成瘾是一种生物社会心理障碍,其主要特征是在明知道会产生消极影响的情况下仍会强迫性地参与奖赏刺激。线索反应是物质成瘾个体的一种特有反应,在接受药物相关线索刺激时会产生显著的生理和心理变化。对成瘾者线索反应的干预有助于降低渴求和复吸率。长期的成瘾行为会导致大脑的协调性发生改变,这种改变可以通过静息态脑电反映。微状态是划分静息态脑电地形图模式的一种方法。本研究调查了尼古丁成瘾者静息态脑电微状态指标与对照