【摘 要】
：
分布式学习是减轻现代机器学习系统中不断增加的数据和模型规模压力的有效工具之一。DANE算法是一种近似牛顿方法,已被广泛应用于通信高效的分布式机器学习。其具有收敛速度快且无须计算Hessian矩阵逆的优点,从而可以在高维情况下显著减少通信和计算开销。为了进一步提高计算效率,就需要研究如何加快DANE的局部优化。选择使用最流行的自适应梯度优化算法Adam取代常用的随机梯度下降法来求解DANE的局部单机
【机 构】
：
南京信息工程大学自动化学院,江苏省大数据分析技术重点实验室
【基金项目】
：
国家自然科学基金项目(61876090,61936005),国家新一代人工智能重大项目(2018AAA0100401)。
论文部分内容阅读
分布式学习是减轻现代机器学习系统中不断增加的数据和模型规模压力的有效工具之一。DANE算法是一种近似牛顿方法,已被广泛应用于通信高效的分布式机器学习。其具有收敛速度快且无须计算Hessian矩阵逆的优点,从而可以在高维情况下显著减少通信和计算开销。为了进一步提高计算效率,就需要研究如何加快DANE的局部优化。选择使用最流行的自适应梯度优化算法Adam取代常用的随机梯度下降法来求解DANE的局部单机子优化问题是一种可行的方法。实验表明,基于Adam的优化在收敛速度上可以明显快于原始的基于SGD的实现,
其他文献
通常无监督算法在对高光谱数据进行聚类时仅使用光谱信息,忽略了空间信息,使得聚类准确率较低。针对上述问题提出一种基于深度谱空网络和无监督判别极限学习的高光谱图像聚类算法。利用深度谱空网络对高光谱数据进行光谱特征和空间特征的分层交叉学习,通过反复学习获得深度空谱特征,为后续无监督聚类提供方便。在三种高光谱图像上进行实验,结果表明,该算法获得的聚类效果优于其他基于极限学习机的方法和其他无监督方法。
图形构造是工程领域中设计图形的重要手段,针对其在效率、交互性和复用性存在的不足,提出一种基于中轴变换的参数化图形构造方法。通过控制点生成中轴段,通过中轴半径确定图形边界信息。基于上一条中轴段的端点迭代生成中轴段及其边界;基于这些边界信息,构造出图形。利用中轴的控制点进行交互,确保了构造时的交互性;只需对参数值进行改变,即可构造相似的图形,保证了方法的复用性;复杂的图形仅需要通过简单的中轴变换即可得
在彩色编码结构光测量系统中,为解决伽马畸变和颜色串扰导致的CCD接收相位非线性问题,提出一种基于彩色灰度图像的伽马值预编码法。根据CCD对彩色三通道响应程度的差异,分别对各通道投影灰度引入不同预编码值进行预调制,同时求取串扰逆矩阵对颜色串扰进行补偿。为验证该方法的有限性,搭建光栅投影结构光三维测量系统。实验结果表明:该方法能够校正各通道光栅条纹的非正弦性,包裹相位的相位误差得到大幅减少。与已有的校
针对蚁群算法应用于移动机器人路径规划时,出现的死锁、收敛慢、易陷入局部最优以及路径不平滑的问题,提出了一种融合改进A*蚁群算法与滚动窗口法的平滑路径规划方法。首先,用改进的A*算法初始化蚁群信息素,解决前期蚁群效率低的问题。然后,改进状态转移概率函数,在函数中考虑可行路径“活跃度”以及终点位置,避免死锁现象。同时,基于不平等原则机制更新蚁群的信息素,避免陷入局部最优路径,加快算法的收敛速度。其次,融合滚动窗口法,在全局路径规划的基础上,结合动态避障策略进行局部实
针对目前已有显著性目标检测算法精度不高以及目标边缘模糊等问题,给出一种基于深度网络的显著性目标检测算法。该算法设计一个端到端的多尺度全卷积网络,在原始输入图像中运行一次即可直接得到像素级的显著性图像;通过基于图像四边的边界先验知识改进GMR流形排序算法,根据前景与背景是相对的这一理论提出背景计算;采用基于完全连接的CRF像素显著性细化模型提高相邻像素之间显著值的一致性,使生成的显著性目标突出。定性
视觉导航算法的设计是高压线路巡检机器人领域的一项关键技术,为了解决当前目标检测算法准确率低、抗干扰能力弱、小目标检测效果差等问题,提出一种最近邻加权灰度均值算法,用于提取目标的感兴趣区域(ROI)。采用相线直径匹配的方式对ROI边框进行精细调整,依据特征提取与机器学习理论实现ROI分类。实验结果表明,该算法具有很高的ROI提取精度,分类器对于正样本的召回率最高可达99.83%,可有效地指导高压巡检
针对现有自然语言因果关系抽取模型的低准确性和自由参数过多等问题,提出高效的面向知识通道和面向数据通道相结合的混合卷积神经网络(Mixed Convolution Neural Network, MCNN)方法。面向知识通道结合词汇知识库中因果关系的语言知识,自动生成的卷积过滤器以捕获因果关系的重要语言线索。实验表明与SingleCNN和MultiCNN相比,该方法在因果关系提取方面效果更优。
由于斜拉索索力的准确计算与测量对桥梁建设与养护具有重要的工程意义,提出一种自适应模糊神经网络索力估计与拟合分析方法。基于弦振动理论与切比雪夫级数方法推导弹性边界条件下拉索振动频率方程,建立索力与频率间的函数关系,利用自适应模糊神经网络对索力-基频关系进行拟合修正。通过搭建索力实验平台来验证该方法的有效性。实验结果表明:设计的推理系统使得训练平均误差小于0.15 N,测试平均误差小于0.30 N,其
教材德目指标是学校道德养成体系中教材选用的重要标准之一,对提供个性化德育信息服务具有重要意义。目前该方面的量化评估的研究有限,评估具有主观特点,效率不高。针对这一问题,对上海中小学教材短文本德目指标进行研究,提出基于深度学习的短文本分类模型IoMET。采用数据增强技术和卷积神经网络对教材短文本进行深度学习,并使用精确率、召回率和F1-度量值进行评价。实验结果表明,IoMET模型对德目指标的预测效果
SDPBloom算法减小了基于简单发现协议的自动发现算法SDP_ADA的网络数据传输量和内存消耗,但在自动发现过程中存在哈希运算量大的问题,导致参与者端点之间发布/订阅消息的时间过长。为解决这一问题,在简单发现协议的基础上,提出一种基于单哈希多维布隆过滤器的自动发现算法SDP_OMBF。该算法将单哈希多维布隆过滤器向量(OMBF)用于参与者端点信息的匹配。实验结果表明,该算法提高了数据分发服务(D