近年来,深度神经网络（DNN）被广泛地应用在各种领域。以DNN为核心的智能终端应用程序要求终端设备具备强大的计算能力,但是目前终端设备由于硬件及能量的限制,即使是使用较小的DNN模型也达不到最优的性能。而传统云计算在响应实时性、传输稳定性以及数据隐私安全性等方面无法满足智能应用程序的需求。为了克服云计算的局限性,边缘计算将具备计算能力的设备部署到网络边缘或数据源头,通过终端设备和边缘设备协作执行DNN推断任务,有效地缩短了数据传输距离,降低了处理延迟,并且保护了用户隐私,促进了实时视频分析、语音识别、智能家居、智慧城市等场景的发展。因此,本文在多个终端设备与边缘设备通过无线网络相连的场景下设计并实现了一个基于设备协作的神经网络任务管理系统,解决了如何将深度神经网络模型在终端设备和边缘设备之间进行拆分和协作推断的问题,在减小各设备计算量的同时降低推断延迟。本文主要成果有:1.设计并实现了一个基于设备协作的神经网络任务管理系统。在10个不同神经网络模型场景下的实验结果表明,本系统可以在所有场景下进行端边协作推断任务,实现端到端最小延迟。与终端设备本地执行和推断任务全部卸载到边缘设备执行相比,端边协作执行的推断延迟分别减小0.02～5倍和0.03～20倍。2.对基于Neurosurgeon分区算法的计算延迟预测模型做了改进,通过在原有的计算延迟预测模型的特征集中添加动态特征可以提升2.31%～44.86%的预测性能。3.根据Neurosurgeon分区算法和DADS分区算法在不同拓扑结构的深度神经网络模型中的性能差异,设计了一种自适应的算法选择机制,实现为不同DNN模型选择最佳分区算法的功能。4.面对边缘设备接收到多个终端任务的场景,提出了一种基于任务优先级的边缘资源管理方案。通过对比实验表明,在与本地执行方案、平均分配计算资源方案以及按数据量大小分配计算资源方案相比,本文采用的边缘按任务优先级进行分配计算资源的方案效果最好,性能分别提升58%、44%、20%。