【摘 要】
:
近年来,随着科学技术的快速发展和网络规模的不断扩大,大数据已经遍布政治、经济、社会、文化、生态等领域,已成为信息网络时代的重要特征之一。大数据具有数据量大、类型繁多、价值密度高等特点,其往往存放在多个存储器中。传统集中式优化算法已经不适用于处理大规模分布式数据,而更具鲁棒性和灵活性的分布式优化算法受到研究者的青睐。分布式优化问题的本质就是多节点系统协同合作求解全局目标函数的最优解,其中全局目标函数
论文部分内容阅读
近年来,随着科学技术的快速发展和网络规模的不断扩大,大数据已经遍布政治、经济、社会、文化、生态等领域,已成为信息网络时代的重要特征之一。大数据具有数据量大、类型繁多、价值密度高等特点,其往往存放在多个存储器中。传统集中式优化算法已经不适用于处理大规模分布式数据,而更具鲁棒性和灵活性的分布式优化算法受到研究者的青睐。分布式优化问题的本质就是多节点系统协同合作求解全局目标函数的最优解,其中全局目标函数是所有节点的局部目标函数之和,每个节点所持的局部目标函数仅被其自身所了解。目前,分布式优化算法在科学、工程、经济和社会等各个领域均有非常广泛的应用,例如:无人机编队控制、源点定位、经济分配和微电网优化调度等。本文在现有研究的基础上进一步丰富相关分布式优化理论,以大规模网络下的数据高效处理为目标提出基于梯度的精确分布式动量加速优化算法,主要研究内容概括如下:(1)针对无向网络环境下的分布式优化问题,本文概括总结了现有的基于梯度的分布式同步优化算法,在此基础上提出了一种新颖的分布式同步动量加速优化算法。在局部目标函数是强凸和利普希茨连续的前提下,算法采用异构步长,精确地驱使每个节点渐近收敛到全局最优解,且我们通过引入一个可调对称矩阵来减少或补偿原始误差给对偶误差的影响。更重要的是,算法还结合Nesterov梯度法提高了算法的收敛速度。利用小增益定理分析了原始误差、对偶误差、一致误差、最优距以及状态差之间的相互关系,再采用线性矩阵不等式技术分析了算法线性收敛到问题的全局最优解时,步长和动量参数需要满足的上界。进一步地,针对有向网络环境下的分布式优化问题,我们同样提出了一种分布式同步动量加速优化算法,叫作NHDA。在局部目标函数是强凸和利普希茨连续的前提下,NHDA算法采用异构步长且利用行列随机权重矩阵来刻画节点间的局部通信过程,有效地克服了有向网络的不平衡性。另外,NHDA算法创新地引入Nesterov梯度法和Heavy-Ball法相结合的双加速机制极大地提高了算法的收敛速度。根据一致误差、最优距、状态差、跟踪误差的相互关系,利用线性矩阵不等式技术分析了NHDA算法线性收敛到最优解的步长和动量参数的取值范围。最后,仿真实验证明两个算法理论分析的正确性,并且给出相关算法性能比较结果以体现所提算法的优越性。(2)针对有向网络环境下的分布式优化问题,本文概括总结了现有的基于梯度的分布式异步优化算法的优势和缺陷,且在此基础上提出了一种分布式异步动量加速优化算法,称为ASYNHDA。算法采用异构步长,利用异步扰动Push-Sum技术,建立了对异步网络具有鲁棒性的梯度跟踪机制。同时引入累积变量和缓冲变量,防止异步网络中由通信时延、噪声干扰等随机因素导致的数据丢包,最后,采用Nesterov梯度法和Heavy-Ball法相结合的双加速机制,提高ASYNHDA算法的收敛速度。在局部目标函数是强凸和利普希茨连续的前提下,利用小增益定理分析了一致误差、最优距、状态差、跟踪误差的相互关系,再采用线性矩阵不等式技术证明了ASYNHDA算法可以线性收敛到问题的全局最优解,且给出了步长和动量参数需满足的取值范围。最后,仿真结果表明ASYNHDA算法的线性收敛性以及其与相关算法性能比较的优越性。综上所述,本文重点聚焦基于梯度的精确分布式动量加速优化算法设计与分析的相关研究,进一步丰富和发展现有的分布式优化理论,为分布式优化在实际工程问题中的应用提供指导理论和关键技术,具有一定的研究意义和应用价值。
其他文献
背景子宫内膜异位症(endometriosis,EMS)是指具有生长功能的子宫内膜样组织附着并生长在宫腔以外的良性妇科疾病,在育龄期妇女中的发病率约为6-10%。虽然EMS的发病机制仍未阐明,但最广为接受的理论是由Sampson在1920年提出的经血逆流学说,该学说认为子宫内膜组织通过输卵管逆行输送到子宫腔以外部位(如盆腔、卵巢、腹膜等),黏附并建立血液供应,内膜细胞增殖,进而形成子宫内膜异位病灶
当今社会存在各种各样风险,其中耕作层风险、生态风险日益严重。“十四五”规划明确了“十四五”的生态环境保护目标,坚持生态优先,也明确表明要高度重视对耕地的保护。耕地不仅支撑着国家粮食安全,更是重要的生态屏障,维系着生态环境。耕作层,位于土壤的表层,含有丰富的养分,是土地的精华,是农作物赖以生存的基础,也是生物的栖息地。生物的多样性发挥着众多环境功能,地球的生存依赖于维持这一多样性,对生态系统维持可持
在国际教育多元化蓬勃发展的大背景下,为了培养全面型综合人才,一种新的STEAM教育理念应运而生,此教育理念掀起了世界诸多国家的研究热潮。STEAM教育理念的核心特点是跨学科性,主要包括科学、技术、工程、艺术和数学等学科间的融合,其强调科学精神与人文精神并重,注重学生科学探究和创新创造能力的培养,这与我国教育部在2016年6月7日印发的《教育信息化“十三五”规划》中“跨学科学习(STEAM教育)、提
党的十九大报告指出,我国文化事业和文化产业的发展要以文化遗产的有效保护为倚重点。随着少数民族在基本文化权利中的有关诉求愈发多样化且深刻化,私法保护逐渐显得“力不从心”,此时的公法保护就被予以了更多的期待。由于少数民族非物质文化遗产的保护是少数民族基本文化权利受保障的重要方面,所以少数民族非物质文化遗产的保护须以公权力为依仗才能更好的建成少数民族非物质文化遗产发展的“温室”。贵州省不仅是最早开始对少
本文展现了对一个真实案件进行证据分析的过程。周某钦涉嫌故意杀人一案,办案人员在办理过程中,对证据的分析和案件事实的认定产生了很大争议:少数办案人员认为本案证据没有实质性的疑点和问题,认定周某钦故意杀人的证据确实充分,本案事实清楚,应当追究周某钦的刑事责任;但多数参与此案办理的人员,认为证据存在不少疑点,而且有不能排除的合理怀疑,故主张不能认定周某钦故意杀人,不能对周某钦进行刑事追究。本文针对案件中
义务教育在发展的同时也在不断进行着改革,教师作为教育中的重要成员,其专业素质受到了各界广泛关注。教师学科知识是教师素养的重要组成部分,随着国际上对教师学科知识与学生成绩关系的大量研究,教师的教学效能感与学生成绩的关系研究也被得到关注。少数民族地区的教育是我国教育的短板,因此对少数民族地区教师学科知识、教学效能感、学生成绩的现状以及他们之间的关系进行研究,可以对少数民族地区的教育发展提供一定的指导和
随着电子通讯、智能感知与信号处理技术的发展,分布式网络采用分布式自适应算法,在监督学习、强化学习、自适应参数估计及优化等方面效果显著,已被广泛地应用在信号处理、智能物联网、智慧城市、智能电网等领域。本文考虑网络中的节点以分布式的方式,自主地通过节点之间信息协作解决参数估计问题。目前,自适应融合扩散最小均方算法(ATC d-LMS)因具有强大的适应性和稳定性而得到广泛应用,故本文基于ATC d-LM
羊地方性鼻内腺瘤(Enzootic nasal adenocarcinoma,ENA)是一种慢性、进行性、接触性的动物传染病。ENA由绵羊地方性鼻内肿瘤病毒(Enzootic nasal tumor virus of sheep,ENTV-1)和山羊地方性鼻内肿瘤病毒(Enzootic nasal tumor virus of goats,ENTV-2)所引起。ENTV-1只感染绵羊,ENTV-2
近年来,在新兴的数据密集型应用——深度卷积神经网络(DCNN)中,图像预处理往往会耗费大量的时间和能耗。卷积运算是图像处理领域应用广泛、影响深远的算法,常常用来去除噪声、提取图像的边缘。当对图像进行卷积运算时,涉及大量乘法和加法运算,运算开销非常大、实时性要求高,内存处理性能不足会导致“内存墙”效应,在数据密集条件下,频繁使用以上的算法将会给计算系统带来极大的内存/通信负担。鉴于CMOS工艺的技术
《中庸》作为我国传统儒学的重要经典论著,自古就是中华文化之核心、民族之灵魂、儒家学说之根本,对构建社会主义和谐社会具有现实的指导意义。中庸思想的最终目的就是“致中和”,人的可教育,就在于能中和;政教的作用,就在于致中和,“至诚之道”是达到中庸之道的关键一步,也是“致中和”的关键。从社会实践和理论研究来看,《中庸》的教化价值尚未得到充分的重视和深入的挖掘,这对丰富我国的教育理论而言,确实是一件惋惜之