基于交替方向乘子法的分布式在线学习算法

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:newbitcom
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的发展,社交网络、互联网金融、物联网等诸多相关应用领域快速崛起。上述应用每天都会产生海量数据;这些数据中除少量非实时的静态数据,更多的是具有实时特性的流数据。对于海量流数据的信息提取问题,利用传统的分布式批处理学习方法已很难解决。因此,本文致力于研究流数据的分布式实时在线学习问题。本文针对分布式在线学习问题,提出了基于交替方向乘子法(ADMM)的同步分布式在线学习算法(oDM)与异步分布式在线学习算法(aoDM)。首先,针对分布式在线学习需要各节点根据新采集的数据来更新本地估计,同时保持网络中所有节点的估计趋于一致这一问题,建立了数学模型并设计同步算法oDM与异步算法aoDM进行求解。其次,针对分布式在线学习问题定义了同步与异步情况下的Regret界,用以刻画在线学习与批处理学习所带来的目标函数的差异。其中,对于同步算法oDM,本文证明了当本地即时损失函数是凸函数且函数次梯度有界时,算法具有O((?)T)的Regret界和O((?)T/T)的收敛速度;当本地即时损失函数是强凸函数且函数次梯度有界时,算法具有O(logT)的Regret界和O(log T/T)的收敛速度。对于异步算法aoDM,本文证明了当定义域是紧集且函数利普希茨连续时,算法具有O(1)的Regret界和O(1/T)的收敛速度。最后,通过数值实验,证明了分布式在线学习算法oDM与aoDM的有效性。
其他文献
炼油化工工程管理指在外部资源有限的条件下(包括投资费用,人力资源等条件),炼油企业的企业管理者运用系统的方法和技术,对炼油化工工程项目从投资决策开始到项目结束的全过
随着人类社会和技术的不断发展,人类的活动和社会生产的需要带动了大量的房屋建筑和交通建设,而水泥混凝土具有来源广泛,生产工艺简单,价格低,耐久性好等优点,被广泛应用于人
微电子机械系统(MEMS)是多种学科和领域交叉融合的技术。随着加工工艺技术和计算机技术的发展,计算机辅助设计和虚拟现实被引入到了MEMS设计中,促进了MEMS的发展。本文针对MEMS
连续退火炉作为轧钢企业连续退火生产线上的主要设备之一,直接影响冷轧带钢的质量、产量和成本。研究连续退火炉温度控制系统在提高生产率、改善产品质量和节约能源方面有着举
在环保节能理念的影响下,越来越多的绿色节能材料与技术,被用于建筑工程施工当中,且具有极为广泛的发展前景.基于此,本文就新型绿色节能材料及技术在建筑工程施工中的应用背
近年来,高新技术的迅猛发展不仅缩短了产品更新换代的周期,而且带动了产品功能的提升以及产品市场价格的变化,这给企业的经营者带来了巨大的压力。以前任何时候都不橡现在这样,竞
本文分析了模糊环境下的不完全信息博弈问题,通过假设不完全信息博弈中参与人的可能类型为模糊变量,建立了模糊类型的静态贝叶斯博弈模型.为了分析该博弈的特点,本文首先提出
随着Internet的发展和后PC时代的到来,嵌入式系统成为当前IT产业的热点之一,呈现了巨大的市场需求。但同时大量的嵌入式应用也对嵌入式设备的性能和功能提出了更高的要求,一般都
数字电视是一项正在迅速兴起的产业,具有广阔的前景,“三网融合”对支持业务的终端设备提出了新的更高要求。通过对机顶盒的重点软件技术进行研究和实现,可以满足人民群众日益增
工作流是针对业务流程或实验过程提出的概念。这些工作流程一般都是通过文档、信息或工作的“流动”(传递)使各个流程参与者能够交互协助以达成既定工作目标,工作流的目的就是