【摘 要】
：
近年来,人工智能技术发展的非常快速,数据的储存,挖掘等得到了非常大的、具有突破性的进步。基于大数据--云计算的分布式系统是新的流行趋势,其中,分布式优化算法对许多分布式系统的开发有着十分重要的作用。分布式优化中,个体或节点之间通过底层网络进行通讯和交流,协同合作地完成优化任务。本文提出了两种改进的分布式梯度下降优化算法。第一种主要考虑带有约束的分布式在线优化问题。在分布式环境下,节点间相互通过信息
论文部分内容阅读
近年来,人工智能技术发展的非常快速,数据的储存,挖掘等得到了非常大的、具有突破性的进步。基于大数据--云计算的分布式系统是新的流行趋势,其中,分布式优化算法对许多分布式系统的开发有着十分重要的作用。分布式优化中,个体或节点之间通过底层网络进行通讯和交流,协同合作地完成优化任务。本文提出了两种改进的分布式梯度下降优化算法。第一种主要考虑带有约束的分布式在线优化问题。在分布式环境下,节点间相互通过信息通信对实时数据流进行决策优化,因此每个节点的成本函数是时变的。为有效克服求解带有约束的优化问题通常要涉及到代价昂贵的投影运算,本文提出一种新的基于Frank-Wolfe的分布式自适应在线优化算法（DFWAdam）。自适应优化算法（Adam）是随机梯度下降算法的扩展。首先,为了有效克服受约束导致的求解投影操作计算复杂的问题,所提出的DFWAdam算法使用Frank-Wolfe算法来代替代价昂贵的投影运算。其次,各个网络节点间通过局部信息交互来更新局部估计。最后,算法收敛性分析表明,当函数代价函数为凸时,算法具有O(T3/4)的遗憾（Regret）界。利用两种不同类型的数据集分别进行数值实验,验证了DFWAdam算法具有较快的收敛速度。第二种优化算法在随机梯度下降算法的基础上进行改进,提出了一种快速分布式随机Nesterov梯度下降算法（SFDGND）,该算法可以有效地解决分布式神经网络的图像分类问题。SFDGND算法允许数据被随机均匀地分配给每个节点。为了实现并行计算,每个节点都使用本地数据子集来更新其参数。最后,我们比较了提出的SFDGND随机算法在训练分布式的神经网络优化问题上的效率。结果表明,SFDNGD算法在在MNIST数据集和CIFAR-10数据集上具有良好的性能,优于现有算法。图[20]表[5]参[70]
其他文献
目前,过程模型可以应用过程挖掘技术从事件日志中挖掘出来,但是过程模型并不能完全体现出案例的真实业务流程。为了能够挖掘出与事件日志更加拟合的过程模型,从案例属性的角度进行研究,可以比较不同案例集之间的行为差异,还可以提高过程模型的质量,对原始模型进行优化,最大程度的与真实业务过程保持一致。因此,越来越多的学者专注于案例属性的角度对过程挖掘技术进行研究。本文在Petri网及过程挖掘相关研究的基础上,通
长期以来,中国医改的核心问题就是医疗费用居高不下,造成医药费居高不下的因素很多,而药费是造成医药费居高不下的主要因素之一。十九大报告中提出,要消除“以药养医”的弊端,加快建立健全药品供给和保障制度。实际上,在医改过程中,药物集中采购已经成为了一项重点工作,努力从源头上对医疗机构的药物购销进行规范化,从而达到减少病人医疗成本的目的。然而在多轮试点后,我国在实施药品集中采购时,仍然存在着“招采不统一”
目的 探讨化痰祛湿方对自发性高血压大鼠（SHR）的肾脏保护作用。方法 40只SHR随机分为四组，每组10只。A、B组分别采用化痰祛湿方4、2 g/kg灌胃，C组马来酸依那普利0.02 g/kg灌胃，D组等量生理盐水0.2 mL/kg灌胃。10只京都种Wistar大鼠为空白对照（E）组，同D组灌胃。五组每日给药1次，连续给药8周。检测五组大鼠血清肌酐、血尿素氮、血管紧张素Ⅱ和一氧化氮水平，HE和Ma
随着社会经济和科学技术的进步,图像分析和识别越来越广泛地应用于生活中。实际采集的图像数据通常是复杂的高维数据,从高维数据中提取具有鉴别力特征已经成为热门研究课题。当前阶段对特征提取的研究仍存在一些问题和限制,如忽略样本中存在的类标签监督信息影响鉴别能力,样本的小样本和噪声问题导致特征存在过量冗余,双视图特征提取无法发现目标的多源层次特性,针对这些问题,本文围绕鉴别信息嵌入、正交冗余约减和多重集拓展
在梳理分析国土空间用途管制和水土保持法律有关要求的基础上，阐明了开展水土保持空间管控的意义，明确了其内涵和原则，提出了以提升水土保持功能为导向的全域管控和以落实法律要求为导向的水土保持重点区域管控体系，阐述了划定水土保持重点区域、制定水土保持空间管控正负面清单和提出差异化管控措施等重点工作思路，为建立水土保持空间管控制度及落实差别化保护治理措施提供参考。
图的秩或者零维数一直都是图谱理论中专家学者的重点研究对象。图谱理论主要借助图的邻接矩阵、Laplacian矩阵以及无符号Laplacian矩阵等等来研究图谱的性质。图的秩定义为其邻接矩阵的秩,图的零维数定义为其邻接矩阵的零维数（邻接矩阵的零特征值的重数）,图的特征值定义为其邻接矩阵的特征值。在化学中,一个共轭烃可以用它的分子图来表示,图的顶点代表碳原子,图的边代表共轭烃的碳碳键。对于某些类型的分子
为进一步提升钻井效率,提高钻井作业水平,很多的专家学者都致力于提升钻井机械钻速,纷纷开展了关于岩石物理力学性质、钻井工艺能力以及钻井工程参数等优化模型的研究工作。由于上述工作大多基于经验和逻辑推理,其分析和求解过程相对复杂,结果也是差强人意。近些年,随着人工智能技术的快速发展,整个钻井工程正逐步向着智能化方向发展,而钻井参数优化作为钻井工程的一项核心业务,实现智能钻井参数优化也是实现高效低成本钻井
整数规划是数学规划问题中的重要支系。关于整数规划问题的计算,至今为止,都没有高效的方法解决。由于磁珠与磁性拉曼技术基底结合后具有很好的磁响应能力,以及金表面对荧光团具有猝灭能力,可取代猝灭基团。因此,本文利用磁珠构建了基于DNA循环杂交链式反应的磁珠模型,该模型用于求解整数规划问题。同时设计了固定在金表面的分子信标模型,用于求解变量取值为-1,0,1的整数规划问题。具体内容如下:一、在国内外研究背
流体动力学主要是用来研究流体（如气体、液体等）的运动状态以及运动规律。Navier-Stokes方程组是流体力学方程组中最基本且十分重要的方程组,可以用来描述可压缩或不可压缩流体。本文主要研究了粘性依赖于密度情形下,Navier-Stokes方程组的整体强解的不可压缩极限。所取得的主要结果如下:1.研究了当初始条件满足“well-prepared”,且速度满足Vorticity-slip边界条件时