随着物联网趋势的不断加深和5G等网络建设的持续发展,消费物联网和产业物联网设备都将与日俱增。目前的智能物联网设备大都采取通过将数据通过网络上发至云端,由云端进行统一的处理。然而广泛的智能终端接入和海量的感知数据在传输过程中占用的巨大带宽,将数据直接传输至云端也增加了隐私泄漏的风险。在边缘侧进行计算可以减少了核心网络的流量从而释放网络带宽的压力,也完成了一定的数据保护,但是其资源受限会导致的无法满足模型精度需求。云边协同计算继承了云计算与边缘计算的优势,以同时达到高精度、低消耗、快响应、低延时的应用场景需求。本文针对如何将深度学习服务落地云边协同架构这一方向对其进行了深入的研究:本文基于数据并行的参数服务器模型提出了一种云边协同下的分布式训练算法。通过对边缘节点处数据队列的有效定义以及对终端设备与边缘节点和边缘节点之间的数据交换有效描述,建立了新的数学模型。在每个时间间隔内,参数服务器动态调度边缘节点的本地训练与边缘节点间的数据迁移,实现模型的快速迭代。通过能量消耗的有效定义以及对数据模型的优化与求解,最终在保证分布式训练系统稳定性的前提下,实现系统能耗的最优解。本文在有参数服务器的边缘云架构提出了一种云边协同下的分布式推理算法。为了解决分布式推理任务消耗大量的带宽和计算资源所导致的响应时间过长以及精度过低的问题,确定了一种多数据版本、多模型版本的策略,在加入各种延迟约束的情况下,建立了新的数学模型,并设计了一种新的云边协同下的模型推理算法,对数学模型进行优化与求解,然后通过针对不同的推理任务,动态调整模型版本与数据版本,并合理的分配相应的边缘进行推理任务,在应对大规模推理任务时,实现模型推理消耗的最低成本。本文对云边协同下的分布式训练实验和云边协同下的分布式推理实验的硬件与软件进行设计与设置,并对深度学习模型进行部署。通过对本文所提出算法与其他算法的结果进行对比,完成了本文算法可行性与有效性的验证。