得益于大数据、大模型、GPU集群的推动,人工智能技术飞速发展,但是在此基础上训练出更准确、表达能力更强的优秀人工智能模型绝非易事。这也促进了并行化、分布式的机器学习技术飞速发展。目前的分布式机器学习框架中,计算节点的参数计算和参数通信过程是串行紧耦合的,造成计算资源利用率不高。同时随着近年来专用高速计算硬件设备的快速发展,计算能力的增长遥遥领先于网络数据传输能力,且高速的计算设备使得分布式机器学习的参数更新更加频繁。参数通信已经成为分布式机器学习系统的性能瓶颈,如何降低系统通信计算时间比,平衡计算与通信,提高计算资源利用率,是提升分布式机器学习系统性能的关键。本文从算法层面和网络层面出发,研究分布式机器学习网络流量调度机制,优化分布式学习系统通信效率,提高分布式机器学习系统性能。1.从算法层面出发,研究基于多优先级多路径的分布式机器学习流量传输机制,优化在分布式训练环境下的反向传播算法。首先提出无等待反向传播算法,重叠反向传播计算过程和参数通信,赋予各层参数不同的通信优先级,提出基于优先级的无等待反向传播算法。解耦计算节点的计算与参数通信过程,降低系统通信计算时间比,提高计算资源利用率。然后基于各计算节点之间存在多条完全不重复的物理通信链路,设计了多路径并行参数同步方案,进一步降低参数通信时间占比,提升分布式机器学习系统性能。仿真表明,设计的算法可以降低分布式系统的通信计算时间比,具有良好的性能。2.从网络层面出发,研究分布式机器学习集群流量拥塞控制机制,尤其是基于参数服务器架构的分布式机器学习框架中的“TCP Incast”问题。设计了网络拥塞控制机制——SCC,通过动态调整源端发送速率,避免或缓解网络数据丢包而超时重传。降低参数通信时延,降低分布式机器学习系统通信时间占比,提升分布式机器学习系统的性能。实验仿真结果显示,与对比方案相比,SCC机制可以有效提高网络吞吐量,减少流完成时间,具有良好的性能表现。