增加神经网络的宽度和深度是提升模型精度的有效方法,然而计算设备的内存资源成为了限制其发展的主要瓶颈之一。为了缓解该问题,本文提出了两个可行的方案,一是设计出更紧凑的神经网络,降低训练资源消耗;二是减少训练框架本身带来的调度开销,为训练过程提供更多可用的内存资源。全连接层的低效和冗余是广为人知的,却仍然是循环神经网络(RNN)的基本模块之一。当RNN面临高维数据输入时,全连接设计的输入层将成为阻碍模型进一步提升的瓶颈。为此我们对比了低秩矩阵分解和张量分解模型,发现张量分解模型在模型参数量和模型表达能力方面具有优势,于是引入了新的Block-Term低秩张量分解模型,提出了紧凑设计的BT-RNN模型,以低秩的张量乘法替换了低效的矩阵乘法,相当于用稀疏连接的方式替代了原全连接的设计。对比现有的低秩模型设计如Tensor-Train RNN(TT-RNN),BT-RNN不仅在设计上更简洁(超参数的设置更为简单),同时能以更低的参数量获得相同甚至更高的模型精度。在视频分类和图像描述任务中,BT-RNN在模型精度和收敛速度方面全面超越传统的RNN模型和TT-RNN模型。尤其是在视频分类任务中,对比LSTM模型,BT-LSTM以极低的参数量获得了超过15.6%的精度提升。为了训练更庞大的网络,常见的做法是以数据并行或模型并行的方式,分别把数据和模型分割并分配到多个计算节点上,但是同时会带来大量的通信开销,严重降低性能。为了提升单节点的模型承载能力,本文提出了一套动态内存调度管理方案,包括:1)张量生存期分析,复用存活期不同的张量内存;2)逻辑统一的内存池实现,以及对应的异步数据传输和LRU缓存策略,以极低数据传输开销带来了充足的内存资源;3)代价最优的再计算策略,以少量额外的前向计算开销大幅度降低了网络训练的内存开销。本文所提出的方案能为模型训练过程带来更为充足的内存资源和更快的训练速度,使得探索更宽更深的网络模型成为可能。