近十余年来,以深度神经网络为主的机器学习技术取得了长足的进步,这得益于高性能计算软硬件和实际应用的不断发展。现如今已有大量组织和企业提供基于机器学习系统向大众提供服务,例如面部、语音识别、照片优化等等。深度神经网络对算力的需求也不同以往,因此对分布式神经网络系统的需求也逐渐增加。另一方面,在边缘计算应用的不断深入,云端、边缘和终端的分层网络日渐成熟,这带来了更丰富的数据来源、计算设备、应用需求和隐私保护的挑战。为此,适用于分层网络体系结构的分布式神经网络系统应运而生。这种分布式神经网络基于分割网络的思想,能够充分利用各设备计算资源、在神经网络上联通用户与云端。分布式神经网络变化灵活,为解决模型计算、推理性能、提升实时性、改善用户服务质量提供了新的可能性。但同时分布式系统天生具有的复杂性也为分布式神经网络带来了挑战。分布式环境下,时常会有在线数据分布不一致的问题,这严重影响了模型的训练与实际性能。针对这种现状,本文从算法和系统两个方面对分布式神经网络进行了研究。本文的主要工作如下:1.本文提出神经网络分布式训练算法,在保护用户隐私的前提下,面向分层网络体系结构,对部署后的神经网络在线进行训练,缓解分布式神经网络部署前后数据分布不一致、终端间数据分布不一致所带来的影响。这种方法同样具有较好的灵活性,能有效的扩展,或与其它相关算法结合,进一步改善分层网络体系下分布式神经网络的表现;2.本文设计了方便在仿真网络环境中运行的分布式神经网络系统,结合Linux操作系统网络特性和现有机器学习主流框架,能够灵活的实现分布式神经网络相关算法和实验,对算法的性能进行测试,从而提升相关算法和系统的研究开发效率。本文进行了简单实验,测试了分布式神经网络仿真系统的有效性和相关性能,确保系统有效,为后续实验提供保障。最后本文通过搭建仿真网络,通过仿真系统实现分布式训练算法,针对数据分布不一致的问题设计实验,测试和对比分布式训练算法的实际性能。通过实验可以看到分布式训练算法能对分层网络下的分布式神经网络有效进行训练,在数据不一致的情况下达到良好的准确率,同时避免了分享用户原始数据造成的隐私泄露。同时,本文紧密的实验对算法的相关参数进行了测试,体现了算法的各项性能特点。