卷积神经网络（Convolutional neural network,CNN）已经在许多领域展示了其先进的性能。然而,这些CNN经常包含超过百万的参数量并且需要上亿次浮点数运算,如此庞大的的计算量和参数量对于现有的智能设备来说是负担不起的。这个问题严重的阻碍了神经网络的实际应用。在本文中,提出了一种两阶段模型压缩和加速（twostage model compression,简称TSCA）方法来解决这个问题。TSCA包括搜索和训练阶段。在搜索阶段,本文提出了基于通道重要性剪枝的神经网络搜索技术,在教师网络的每个通道中加入一个通道重要性量化因子,在训练完成后,通过剪除通道量化因子较小的通道可以在几乎不损失神经网络性能的前提下得到一个参数量和计算量明显少于教师网络的学生网络。在训练阶段,由于学生网络的参数量和计算消耗远低于教师网络,所以其直接训练无法达到和教师网络相当的性能。在本文中,提出了一种基于神经网络一致性的知识传输技术。在网络中间层,本文通过注意力机制提取出教师网络和学生网络的中间层的双向注意力特征,通过促进教师网络和学生网络的双向注意力特征的一致性,学生网络可以学习到教师网络的特征的空间和通道维度上的联系信息。在网络最终分类层之前,本文通过对比学习来促进学生网络输出和教师网络具有较高一致性的特征,促使学生网络学习到教师网络的输出分布信息。通过在中间层和最终层促进教师网络和学生网络的一致性,学生网络从教师网络中学习到了丰富的信息。本文在几个先进的神经网络模型（VGGNet、Res Net和Dense Net）上进行大量实验来证明TSCA的有效性。TSCA训练的所有学生网络都取得了显着的性能,特别是在选择VGGNet-19作为教师网络时,只包含教师网络约1/10参数量和1/2计算量的学生网络在CIFAR-10和CIFAR-100数据集上达到了94.37%和74.76%的准确率,与教师网络的准确率相比,学生网络的准确率高了0.84%和2.31%。最后,成功将压缩的模型部署到嵌入式设备上进行相关任务的处理。