众所周知,深度神经网络（Deep Neural Network,DNN）已经在计算机视觉（Computer Vision,CV）、自然语言处理（Natural Language Processing,NLP）等领域取得了巨大的成功,越来越多的神经网络设计研究发现了一个现象:更复杂的网络拥有更好的准确性。复杂模型的结构往往都具有上百个网络层以及数千万个参数,因此,复杂网络的高精度是以增加计算成本和时间开销为代价。与此同时,越来越多的神经网络模型被要求部署到资源受限的硬件平台满足低延迟、隐私保护的推理需求。很多工作尝试降低现有模型的复杂度,提升模型在硬件平台上的推理效率,如通过权重稀疏化、通道剪枝、矢量量化和知识蒸馏等方式。另一种加速模型推理的方法是通过动态调整模型结构以降低模型运行时的复杂度,此方法主要基于DNN模型执行时所观察到的一个特性,对于结构简单的输入图片来说,网络较浅的模型就能够实现准确地推理,而只有结构复杂的图片模型才需要更深的网络。自适应早退网络仅使用网络前几层的特征信息进行预测,尽管显著地降低了推理时间,但其不能够有效的利用后续网络层的高层抽象特征,这不可避免地丢失了深层次语义信息而影响分类效果。自适应通道剪枝网络选择性激活通道,这种过于细粒化的选择过分强调输入图片之间存在的特征差异,增加了甄别关键通道的难度,造成其配属的附加网络性能要求过高而导致附加网络的结构更为复杂,这对计算成本和推理精度都构成了巨大的挑战。相反,自适应跳层网络配属的附加网络则较为精简,却能跳过冗余层,正确执行满足精度要求所必需的关键层。自适应跳层网络相较于自适应早退网络的执行策略则更灵活,而相较于自适应通道剪枝网络的附加网络则更精简,更好地权衡了计算成本和推理精度。但现有的自适应跳层网络方法存在效率问题,即这些方法虽然有效地减少了冗余计算,但这并没有真正减少其推理时间,因为它们为每个网络层都配属了专有的控制模块,且这种控制模块的决策依据是基于上一层网络的输出,这导致了更高的延迟。为了能够真正从“跳过的层”中提高效率,本文提出了一个新的控制结构OFAS（Once For All Skip）,以准确判断主干网络中每个网络层的执行/跳过。OFAS的新颖之处在于它只需要为所有可跳过的网络层计算一次便能作出合适的决策,并且可以和不同类型的模型进行结合。除了新的控制结构,自适应网络的训练一直是一个难点,实验发现带有OFAS模块的自适应网络无法在端到端训练中达到最佳精度和效率,因此,本文根据OFAS的特点提出了一种基于强化学习（Reinforcement Learning,RL）的训练方法来增强训练过程,新的训练方法可以提高模型的精度和效率。