在工业互联网环境中,深度神经网络应用已经在工业生产中被广泛使用,这些应用往往被部署于智能终端设备中,有着计算量大和数据量大的特点,且对推断时延有着较高的要求。然而,现有的智能终端设备性能较弱,推断时延较高,将用户的原始数据发送至云计算中心进行推断的方法则可能导致隐私泄露。针对现有计算模式的不足,端边协同推断能够综合利用智能终端设备和边缘设备的计算能力以降低终端设备的推断时延。然而,智能终端设备中的异构处理器存在性能差异,工业生产的高温环境也可能对处理器性能造成影响,同时,终端和边缘设备之间的环境复杂多变,这对构建基于端边协同的深度神经网络推断系统带来了巨大挑战。针对上述问题,现有工作已经围绕深度神经网络并行计算、终端设备计算加速以及端边协同推断框架等技术展开了研究,但现有工作存在如下问题:一方面,终端设备推断加速技术未考虑温度对设备处理器性能的影响,且仅针对任务做粗粒度划分,没有根据神经网络各层的结构和数据量特点以及处理器性能对单层做细粒度的计算任务划分,未充分利用智能终端设备计算能力;另一方面,端边协同推断方法未综合考虑终端设备计算能力及能耗、边缘设备计算能力、端边间网络状况等约束,难以保证端边协同推断的低延迟和鲁棒性。为此,本文针对终端设备深度神经网络低推断时延要求的特点,研究基于端边协同的深度神经网络推断加速技术。首先,在智能终端设备中,本文提出了温度约束下的终端设备异构处理器推断加速技术,该技术分为终端设备动态频率设定和深度神经网络单层计算负载划分两个部分,前者能够根据环境温度和处理器性能等约束设定终端设备中处理器工作频率,从而保证终端设备稳定运行并最大化终端设备各处理器计算能力;后者能够根据深度神经网络单层结构以及终端设备中异构处理器计算能力,针对神经网络单层进行计算负载划分,从而降低终端设备推断时延。其次,在端边协同推断中,本文提出了多约束下的端边协同推断机制,该机制分为两个阶段,端边协同模型分割阶段和在线动态调整阶段,前者能够根据设备性能等条件设定深度神经网络模型划分位置,在满足约束的前提下最小化推断时延;后者能够在端边环境变化时自适应调整模型划分位置,从而保证端边协同推断机制的鲁棒性。最后,根据理论研究成果,本文设计了基于端边协同的深度神经网络推断优化系统,并通过多组对比实验证明了本文所提机制对智能终端设备计算性能的提升以及降低端边协同推断时延的有效性。综上,本文面向工业互联网环境中深度神经网络应用,设计了基于端边协同的深度神经网络推断加速技术,并构建了相应的原型系统。实验表明,本文所提机制能够有效降低深度神经网络推断的时延,并保证端边协同推断的稳定运行,具有较好的鲁棒性。