【摘 要】
：
[目的]随着大数据时代的来临,数据变得高维、稀疏,机器学习模型也变得复杂、高维,因此也给分布式机器学习系统带来了很多挑战.尽管研究人员已经开发了很多高性能的机器学习系
【机 构】
：
北京大学,计算机科学与技术系,高可信软件技术教育部重点实验室,北京100871腾讯公司,北京,100193;
论文部分内容阅读
[目的]随着大数据时代的来临,数据变得高维、稀疏,机器学习模型也变得复杂、高维,因此也给分布式机器学习系统带来了很多挑战.尽管研究人员已经开发了很多高性能的机器学习系统,比如TensorFlow、PyTorch、XGBoost等,但是这些系统存在以下两个问题:(1)不能与现有的大数据系统很好的结合;(2)不够通用,这些系统往往是为了某一类机器学习算法设计.[方法]为了解决以上两个挑战,本文介绍Angel+:一个基于参数服务器架构的分布式机器学习平台.[结果]Angel+能够高效的支持现有的大数据系统以及机器学习系统——依赖于参数服务器处理高维模型的能力,Angel+能够以无侵入的方式为大数据系统(比如Apache Spark)提供高效训练超大机器学习模型的能力,并且高效的运行已有的分布式机器学习系统(比如PyTorch).此外,针对分布式机器学习中通信开销大和掉队者问题,Angel+也提供了模型平均、梯度压缩和异构感知的随机梯度下降解法等.[结论]笔者结合Angel+开发了很多高效、易用的机器学习模型,并且通过实验验证了Angel+平台的高效性.
其他文献
本文介绍了日本JFE公司以氮化硅为抑制剂的高磁感取向电磁钢板的生产方法,当钢板一次再结晶脱碳和增N处理完成后涂布退火隔离剂,其隔离剂含水率与二次再结晶升温过程中释放的
上海光源(SSRF)直线加速器正常运行时,重复频率2 Hz,单束团脉宽l ns,电荷量1 nC.近年来,国际同步辐射领域发展起来的恒流注入模式要求直线加速器以弱流强运行,在相同的重复频
介绍了当前用于粒子加速器准直测量及监测地球潮的静力水准系统。根据地球潮汐(包括海洋潮和固体潮)理论,分析了地球潮汐对静力水准系统的影响,并对获得数据进行频谱分析,得出潮汐周期约为11.6、23.1和7.7 h,即半日潮汐、周日潮汐、1/3日潮,初步验证了地球潮汐对HLS的影响。
介绍一种峰值电压190V、峰值电流16A扫描磁铁开关电源设计.该电源采用脉宽调制(PWM)和Buck 电路控制实现输出电压连续可调,结合IRS2453D和IR2110进行H桥逆变驱动,并具有过流
对源漏击穿电压为400 V和500 V的N沟功率VDMOS器件进行碘离子单粒子辐照实验,讨论了不同偏置下两种功率器件的SEGR效应。研究结果显示:栅源电压为0 V、漏源电压为击穿电压时,
研究了Zr9Ni11合金室温下多次吸放氢循环中吸氢量变化及低压下吸氢动力学特征,并采用SEM和XRD研究吸氢前后合金的微观特征。结果表明:初始压力为161 kPa时,室温下Zr9Ni11合金
纵观上千年的科学发展史,人类在科学活动中不断改进工具和方法,从而加速了科学发现的历史进程.从16世纪以伽利略自由落体定律、惯性定律为代表的实验科学、经验科学,到19世纪
[目的]为表明数据与计算平台在科学研究活动中的重要驱动作用,本文研究了数据、计算以及科学研究的发展与本质.[方法]本文简述了数据技术和计算技术的发展,通过拓扑材料计算
[目的]为降低并行编程难度,加速应用程序开发,本文设计并实现一种面向新型开发模式的并行框架软件——SC_Tangram,其中SC表示科学计算(Scientific Computing),Tangram(七巧板
[目的]本文主要就大数据基础理论及系统相关研究背景、技术架构和关键技术展开介绍,并结合技术发展趋势提出未来研究和技术发展方向.[方法]本文在简要介绍大数据处理基础理论