【摘 要】
：
随着互联网信息技术的迅猛发展,特别是5G时代的到来,促使智能设备增长迅速,形成一个诸如由智能家电、汽车、设备和工具组成的庞大网络。这些设备工具收集大量的实时数据,执行复杂的计算任务,并提供重要的服务,显著改善人们的生活,丰富了集体生产力。海量的动态流数据处理成为当下亟待解决的问题,传统的批处理学习方式已不能满足动态流数据的处理,且已有一些算法是基于集中式网络设计的,容易造成中心节点通信过载,降低了
论文部分内容阅读
随着互联网信息技术的迅猛发展,特别是5G时代的到来,促使智能设备增长迅速,形成一个诸如由智能家电、汽车、设备和工具组成的庞大网络。这些设备工具收集大量的实时数据,执行复杂的计算任务,并提供重要的服务,显著改善人们的生活,丰富了集体生产力。海量的动态流数据处理成为当下亟待解决的问题,传统的批处理学习方式已不能满足动态流数据的处理,且已有一些算法是基于集中式网络设计的,容易造成中心节点通信过载,降低了数据的处理效率。而基于分布式网络设计的算法,网络中的节点相互交流合作共同处理目标任务,可以有效地避免中心节点的通信过载,增强了网络的鲁棒性。因此,研究在线和分布式的底层优化问题的解决方案具有重要的现实意义。本文针对分布式在线学习问题,提出了两类快速分布式在线学习算法,分别为具有权重衰减的分布式自适应在线梯度算法（WDDAOG）和具有动态学习速率的分布式在线梯度算法（DADABOUND）。论文的具体工作包括以下两个部分:第一部分主要通过在网络中的节点更新时加入权重衰减因子,以此提高现有分布式在线学习算法的性能。首先,本文采用动量估计法,分别计算梯度的一阶和二阶动量,从而取代原始的梯度。然后在节点更新时加入权重衰减操作,从而提出具有权重衰减的分布式在线梯度算法（WDDAOG）,并在理论上分析了该算法的动态遗憾界,且将现有分布式在线梯度算法的遗憾界从O（n（?））提高到O（（?））。最后,对所提算法进行实验,结果显示WDDAOG算法具有更好的性能,优于现有分布式在线学习算法,并且对不同网络的遗憾界的理论结果也进行了验证。第二部分主要受梯度裁剪的启发,将梯度裁剪运用到学习率上,使得现有算法避免了极端学习率的出现,能够具有更好的性能。首先,计算梯度的一阶动量估计和二阶动量估计来代替原始的梯度信息。其次,利用学习率裁剪技术将学习率限制在阈值区间内,提出了一种具有动态学习速率的分布式在线梯度算法（DADABOUND）,并证明了所提算法具有O（（?））的动态遗憾界。最后,在多分类逻辑回归问题以及线性支持向量机问题验证了 DADABOUND算法的优势。图[20]表[3]参[82]
其他文献
无线电波透视法具有操作轻便、数据采集快、探测效果好等优点,广泛用于煤层工作面断层、薄煤区等构造异常区探查。进行煤层大宽面探测时,电磁波信号衰减严重而产生较强的低阻假异常;对工作面落差较小断层的探测也不明显。为此,本文提出煤层工作面地质异常无线电波源检同巷探测法进行面内地质构造探查。采用理论分析、数值模拟和现场试验等研究方法,对无线电波源检同巷探测方法涉及的基础理论进行研究,具体内容如下:论文首先基
江苏省河流众多,河流两岸水土流失甚至岸堤坍塌等问题常有发生,急需采取工程措施维持岸堤的稳定。传统的河道护坡方式存在环境不友好,与我国可持续发展理念不相符合的问题。另一方面,桑条秸秆作为农业废弃物的一种,有效利用途径匮乏,处理不当易造成环境污染。因此,将桑条秸秆制作成秸秆拱用于河道护坡具有一定的理论价值和实际应用价值。本文针对桑条秸秆拱应用于河道护岸的可行性进行研究,开展了一系列的室内和现场试验。分
行人检测技术是计算机视觉领域下的热点研究内容,随着人工智能技术的进步与需求增加,行人检测成为了很多热门应用的基础性研究,如视频监控、自动驾驶、人工智能机器人等。在过去二十年里,行人检测技术在研究领域的热潮越来越高,特别是进入深度学习以及大数据时代,深度卷积神经网络的出现促使目标检测技术进步飞快,也驱使行人检测的发展,深度学习卷积网络的通用目标检测模型让行人检测获得了良好性能。当前卷积神经网络在面对
随着网络信息技术的快速发展,信息过载成为大数据时代的一个普遍问题,推荐系统（Recommendation Systems）在解决信息过载问题上发挥着至关重要的作用。但网络上可访问的数据量急速增长导致数据稀疏问题,这意味着明确的评分反馈并不总是可用的,而且主流的推荐算法都忽略了近期偏好对用户相似性以及推荐结果排名的影响。这些问题都成为了影响协同过滤（Collaborative Filtering）推
命名实体识别在自然语言处理实用化技术中占有重要地位,其目的是识别文本中有特定意义的实体并根据实体类型对其进行分类。针对基于统计方法需要大量时间构建特征以及深度学习方法缺乏丰富的输入语义信息问题,本文提出了基于注意力机制的双通道神经网络命名实体识别模型。以解决序列标注问题常用的模型BiLSTM-CRF作为基准,并对基准模型改进使其在中文命名实体识别任务中发挥更高性能。主要研究内容如下:（1）提出双通
矿井由通风、运煤、排矸等系统构成,各个生产系统复杂的交错在一起,因此巷道交岔点广泛的存在于生产系统中。交岔巷道容易形成空顶面积大、应力环境复杂和受多次掘进扰动影响的交岔点。并且伴随煤炭的深部开采,深部巷道围岩承受“三高一扰动”困扰,使得围岩变形量大,破坏范围及程度加剧。为解决交岔巷道变形量大导致的巷道失稳问题。本文基于潘三煤矿东一采区2121（3）轨顺进料巷交岔点为工程背景,通过室内岩石力学试验、
现如今各行各业都不能脱离互联网而独立存在,互联网给我们的生活与学习提供便捷的同时,也给我们带来了许多问题,如何确保数据安全就是一个重要问题。为确保数据的安全,首先要做的就是加密,尤其是文本文档信息的加密以及数字图像加密。针对文本文档信息,就需要去构造密码强度高的密码体制,以及保护信息的私密性而提出的签名方案。而针对数字图像信息,就需要安全有效的图像加密算法。密码学中最为普遍且被广泛应用的加密体制就
目前对吉他的研究主要集中在结构方面,对其声学以及振动特性方面的研究较少,针对这个问题,本文以吉他为研究对象,提出一种基于EMI技术的振动特性检测的方法,对吉他的振动特性进行研究。首先对吉他琴弦以及共鸣箱的振动特性进行有限元仿真分析;然后搭建了基于振动特性的声学以及压电阻抗实验平台,完成了吉他的声音实验和阻抗实验;最后在仿真数据的基础上,通过MATLAB神经网络完成了对吉他琴弦不同直径的识别。本文的
新型二维纳米材料MXenes具有优异的力学性能、导电性以及亲水性等理化性质,在复合材料、能源以及催化等领域表现出极大的潜在应用前景。目前主要采用氢氟酸（HF）和盐酸+氟化锂（HCl+LiF）作为刻蚀剂来制备MXenes相材料。然而,两种方法所制备的MXenes相各有优势和不足。本文在HCl+LiF作为刻蚀剂的基础上,首次利用了球磨预处理方法,得到了“手风琴”结构的MXenes相（Ti3C2Tx）材
煤与瓦斯突出灾害是煤矿开采过程中的重大灾害之一,其发生由众多复杂的因素综合作用导致,传统的煤与瓦斯突出危险性预测的可靠性还不够高,煤与瓦斯突出防治的许多难题没有得到很好的解决,近年来突出事故呈多发态势,严重威胁煤矿的安全生产。本文分析了目前常见的传统煤与瓦斯突出预测方法的优劣势,引入具有解决复杂线性或非线性问题功能的神经网络。针对目前标准BP及RBF神经网络在预测煤与瓦斯突出的研究中存在的问题,采