近年来,深度神经网络在计算机视觉、语音、自然语言处理等领域取得了持续的突破性进展。随着算法的进步,在云、端、边缘等场景部署神经网络应用的需求也逐渐增加。现有的神经网络计算复杂度高、参数量大,给在移动设备等硬件资源和功耗要求较为严格的场景下的部署提出了很大的挑战。细粒度模型剪枝算法能够在几乎不损失精度的情况下,大幅度的缩减参数量和计算量,大大降低了神经网络部署的难度。本文对现有的细粒度剪枝算法进行了调研,并针对现有算法存在大量难以优化的超参数和如何进一步提升压缩比的问题,分别提出了自动化的细粒度剪枝框架和基于L1/2正则项的剪枝算法。针对现有算法存在大量难以优化的超参数的问题,本文对算法的关键步骤进行抽象,基于强化学习实现对超参数的自动优化,提出了自动化的细粒度剪枝框架。通过与现有算法对比,本算法可以以自动化的流程进一步提升压缩率。通过引入L1/2正则提升预训练模型的稀疏性,本文提出的基于L1/2正则项的剪枝算法有效的减少了错误剪枝的影响。通过与现有算法对比,本算法进一步提升了压缩率,在多个模型上取得了最优的压缩率。本文还提出了一种软硬件联合设计的访存系统优化方案,利用细粒度剪枝算法带来的稀疏性,验证了细粒度剪枝算法对于硬件加速的重要意义。