随着5G和物联网的发展,云计算模式难以应对网络中产生的大量数据以及对延迟要求更高的新型服务,边缘计算因此应运而生。为了从海量数据中获取有价值的信息,在“边缘智能”技术的驱动下,越来越多深度学习应用被部署到网络边缘。然而,对感知数据进行分析和推理通常是资源密集型任务,而本地计算或卸载全部推理任务到边缘节点将带来大量的计算和通信开销,导致无法容忍的任务响应时间。为解决上述问题,本文对边缘计算下模型推理加速展开研究。针对边缘计算场景中模型推理效率低下及传输原始数据导致隐私泄露的问题,本文对多用户边缘场景下的推理任务卸载进行研究。为此,本文使用模型划分技术将推理任务拆分成两个子任务,一部分交由终端设备进行本地计算,另一部分则卸载至边缘节点,从而能充分利用终端设备和边缘节点的计算资源。通过任务卸载,设备不用传输原始数据,只需传输神经网络中间层结果到边缘节点,因此保障了信息安全。具体来说,首先,基于对深度神经网络（如,卷积神经网络）结构进行分析,本文使用基于模型划分的任务卸载。然后,针对多用户推理任务卸载场景中,终端设备对边缘节点计算资源竞争的问题,本文使用排队论对终端设备和边缘节点的计算过程进行建模,同时将推理任务卸载问题建模并形式化为一个非线性0-1整数规划问题。为解决该问题,通过融合松弛、目标转化以及随机舍入等技术,本文提出了 RMTS算法并在理论层面对算法进行了分析,分析结果证明了 RMTS算法的近似比为O（logn/α+1）,其中α≥1,n为网络中所有的终端设备数。最后,仿真实验表明提出的算法能降低平均响应时间约38%。为进一步提升推理任务响应性能,降低边缘节点计算负载,本文结合早退机制研究了边缘场景下的模型加速推理。早退机制在模型中间层设置早退点和置信度阈值来为提前退出推理提供支持,而早退点的选择和置信度阈值设置都会影响推理速度和准确率,因此期望能选择合适的早退点和置信度阈值以实现推理准确率和响应时间的权衡。现有的工作侧重于对置信度阈值进行研究,而忽略了早退点的选择对模型推理效率的影响,这些工作通常对神经网络模型的每一层或特定层设置早退点。为解决该问题,本文对早退点选择和置信度阈值进行联合决策。具体来说,针对早退点选择和置信度阈值设置,本文对模型推理早退问题进行建模并形式化为一个多元非线性优化问题,并提出了基于条件转化、凸优化以及模拟退火等技术的CSA算法。仿真实验表明提出的CSA算法能够提升任务完成率约34%,同时与未使用早退机制的推理相比,准确率损失至多5%。