在深度学习中,GPU通常用于加速深度神经网络的训练过程,然而GPU有限的物理内存意味着它很难训练大规模的深度神经网络模型。现有的内存优化方法包括重新计算方法和CPU-GPU迁移方法,它们对神经网络中的所有层应用单一的优化方式,不能实现理想的训练性能,忽视了神经网络中不同层的数据迁移成本和计算成本不一致的重要特征。针对现有优化方法的不足,提出一种基于层的内存复用和优化方法——Layup,包含两个策略:第一,结合GPU异步执行的特性,通过分析神经网络中不同层的迁移开销和重新计算开销,将神经网络中的层划分为计算敏感型和迁移敏感型两类,不同类型的层使用不同的优化策略。使用CPU-GPU迁移方法优化计算敏感型层的特征图,使用重新计算方法优化迁移敏感型层的特征图,同时使用流水线并行的方式将数据传输过程与计算过程重叠起来,进一步降低神经网络模型整体的训练性能开销。第二,通过分析神经网络训练过程中的内存使用情况,提出多种中间数据的内存复用策略。使用滑动窗口的方式复用梯度图的内存空间,并基于神经网络逐层计算的特性,逐层复用卷积工作空间和cuDNN句柄数据,进一步降低深度神经网络训练时的内存使用量。上述方法实现在Caffe系统上,并在两种不同规格的GPU上进行测试。实验表明,Layup方法可以显著降低深度神经网络训练时的内存消耗,同时保持较低的性能开销。训练时的内存消耗最高减少92%左右,同时,在所测试的神经网络模型上的性能开销平均仅为12%。特别的,在内存容量为12 GB的GPU上可以训练高达2500层的ResNet模型(批量大小为16),与SuperNeurons方法相比提升约30%,进一步扩展了单个GPU上神经网络模型的规模。