深度学习已经被广泛应用于图像处理、语音识别、自然语言处理等领域。然而,随着深度学习方法对训练速度和数据处理能力的要求愈来愈高,传统的基于单机的训练方法已经无法满足需求。因此,分布式深度学习训练方法成为了提高计算能力的有效途径,尤其是在需要处理大规模数据的场景下。这种方法能够通过在多台机器上并行训练深度学习模型,以加快训练速度并提高模型的准确性。同时,大规模分布式物联网（Io T）应用的兴起催生了深度神经网络（DNN）等网络模型在边缘端训练和推理的蓬勃需求。受限于中心式的数据传输机制、边缘端设备的异构性和资源受限等问题,现有单一的数据并行、模型并行的分布式训练机制往往不能充分利用边缘设备算力、网络拓扑结构及带宽资源等,甚至无法直接应用于边缘端。边缘端的分布式训练模式对计算资源、训练网络的划分合理性和数据分布质量有着较高的要求。利用边缘端设备算力和I/O能力,构建分布式训练是研究的热点之一。为此,本课题围绕边缘分布式训练的上述问题,对资源受限、环境动态和数据不均场景下的分布式训练相关技术开展研究,主要工作如下:（1）本课题提出了边缘端混合分布式训练框Edge Mesh,它基于Tensor Flow和MeshTensor Flow,是一个面向较大规模的,有着广泛适应性的边缘端分布式训练框架。Edge Mesh将数据并行和模型并行两种模式进行了融合,对卷积层运算和参数传递有着细粒度的控制,是一种多设备间模型并行的参数服务器架构;该框架对多个模型并行节点组成的集群间加入了参数服务器,从而在保证模型精度不受影响的前提下,不仅解决了边缘设备上DNN训练的资源受限性问题,同时也加速模型训练过程。实验表明,相比单机训练和数据并行模式,边缘端混合分布式训练框Edge Mesh在保证等效模型精度情况下,显著降低了平均内存消耗。（2）本课题提出了边缘端混合训练网格自适应策略和模型并行卷积过滤器划分算法,用于加速边缘端混合分布式训练。边缘端混合训练网格依照边缘设备浮点计算能力的差异,划分出一个适应混合分布式训练框架的布局,从而降低由集群间性能差异所导致的训练时延大的问题。模型并行卷积过滤器划分算法是一种考虑了运行环境带宽、设备浮点算力、内存和网络时延的模型并行动态负载均衡算法,旨在划分出适应当前边缘环境的卷积过滤器,较少同步等待时延。将边缘端网格自适应策略和模型并行卷积过滤器划分算法部署于边缘端混合分布式训练框Edge Mesh,相较于基准算法,Het-Edge Mesh不仅有效降低了异构边缘设备上训练时延,加速了DNN模型训练过程,同时又有较高的扩展性。实验表明,与单机训练和数据并行模式相比,Edge Mesh分布式训练机制可以在保持模型准确性的同时,将平均延迟减少3.2倍,平均内存开销最高减少43%。