近年来,随着深度学习的飞速发展,深度神经网络在许多机器学习任务中,包括计算机视觉、自然语言处理、语音识别方面,都取得了飞跃式的发展。随着深度神经网络性能的不断增强,神经网络的层数越来越多,结构越来越复杂,需要强大的硬件资源才能负担。随着5G的发展,未来社会将充满更多廉价,低功耗的移动设备,研究人员纷纷开始寻求将神经网络部署到移动端设备使其智能化。然而,深度神经网络需要消耗和占用大量的计算开销和储存资源,难以将其直接部署在资源有限的移动端设备上,严重地限制了深度学习的落地场景。深度神经网络压缩技术是一种有效解决该问题的方法。本文主要对模型剪枝和模型量化两种压缩路线展开研究,主要的改进及创新点如下:（1）模型量化:本文针对网络权重和中间层激活值分别提出了新的量化方法,在低比特权重和激活值的量化网络上不存在明显的精度下降。针对传统激活函数不适用于量化任务的问题,提出一种新的激活函数CReLU。在训练过程中CReLU函数能够自适应调节截断参数来平衡动态范围,减少量化误差。同时本文给出了CReLU截断参数合适的初始化和训练方法。相比于传统的激活函数,CReLU在量化和非量化任务下均获得了更好的性能表现。针对网络权重二值化精度损失过大的问题,提出了一种多阶二值化方法,能够更好地近似原始网络权重,进一步减少一阶二值化损失精度,同时保持二值操作的优势。通过理论分析和实验表明,所提出的方法都能取得比之前工作更高的量化精度。（2）模型剪枝:模型剪枝方法对模型中冗余的参数进行裁剪。由于神经网络中参数层类型和位置的不同导致其参数冗余度也不同,因此模型剪枝算法的挑战在于如何选择一个合适的压缩策略。传统的模型剪枝算法通常使用人为确定的规则或基于启发式算法来制定压缩策略。然而,深度神经网络的复杂性使得这些方法十分耗时且效果较差。本文提出了一种基于强化学习的自动化分层剪枝算法来生成最优的压缩策略。所提出的方法构造了一个模型剪枝环境,使得智能体能够在奖励信号的帮助下自动识别出网络每层的冗余度。实验表明,该方法能很好地平衡模型精度、模型大小以及计算复杂度,并显著优于传统的压缩策略。综上所述,本文针对模型剪枝和模型量化两种技术路线分别提出了相应的改进和创新方法。针对模型量化任务,本文提出了新的激活函数和多阶二值化方法;针对模型剪枝任务,本文提出了自动化分层剪枝算法生成最优的压缩策略。实验结果和理论分析均表明本文所提出的两种深度神经网络压缩技术的有效性。