大数据、大模型为人工智能的飞速发展奠定了坚实的物质基础,也提出了新的技术挑战,单机训练已经远远无法满足其对计算能力与存储资源的需求。分布式机器学习利用计算机集群中的多个节点同时训练、相互合作来加速学习过程,节点间的通信常常会成为分布式机器学习系统的瓶颈。为了实现更高效的通信,本文分别从通信步调和通信拓扑两个角度提出了网络优化技术方案,主要内容如下:首先,本文设计了一种基于延迟处理的混合并行分布式机器学习算法。分布式机器学习算法按照通信步调主要可以分为同步算法和异步算法,两者各有利弊,为了更好地达到训练速度与收敛精度的平衡,本文提出了一种融合同步与异步的混合并行通信框架并基于延迟处理优化了异步部分。新的算法不仅能够获得接近于异步算法的训练加速比而且在收敛精度上也超过了同步算法,为分布式机器学习的通信机制设计提供了新的思路。其次,本文设计了一种拓扑感知的All Reduce算法。基于参数服务器的分布机器学习系统最大的缺点在于服务器节点会成为通信瓶颈,为了规避这一问题,本文将高性能计算领域中的All Reduce算法应用到分布式机器学习中,使用时间复杂度更低的Recursive Halving and Doubling All Reduce算法代替主流的Ring All Reduce算法,并在此基础上设计了拓扑感知模块,充分利用节点间高带宽连接的同时,弱化低带宽连接的影响,有效提高了训练速度。