近些年深度学习作为机器学习中的一个全新研究领域,在图像分类、目标检测、自然语言处理等多个方向均有非常大的进展。而卷积神经网络作为深度学习领域最重要的技术之一,也展现出了优异的性能。但是,卷积神经网络通常有巨大的参数量和计算量,引出了一个亟待解决的问题:如何降低卷积神经网络的参数量和计算复杂度,使得卷积神经网络能够部署在低功耗、存储空间受限的硬件平台上?针对以上问题,本文从模型压缩领域的量化为出发点,探讨了如何解决这个问题。首先,本文调研了卷积神经网络的模型压缩方法,选用卷积神经网络的量化方法构建了基于卷积神经网络的量化优化框架。该量化优化框架通过ONNX这种跨框架的模型中间表达框架对不同框架下的卷积神经网络模型进行推理分析,实现卷积神经网络模型的量化优化。通过这项工作,我们可以支持不同平台上的主流卷积神经网络模型,对神经网络做量化优化,使其能部署在硬件平台上,同时保持较好的指标。为了硬件上可以成功部署,本文设计了面向该量化优化框架的神经网络编译器,将基于卷积神经网络的量化优化框架量化分析的结果转换为了硬件上需要的二进制文件。转换后的结果指导硬件的设计,使硬件的运算和运算结果和神经网络量化优化框架的结果相统一。除此之外,为了进一步对模型进行压缩而不使最后结果变差,本文基于混合精度量化的思想,提出了一种新的混合精度量化方法LSMQ。LSMQ通过一种新的敏感度评判标准评估了每层对量化结果的影响,并提出了一种搜索策略来确定每层的位宽。实验结果证明LSMQ的效果好于之前的工作,且远好于定精度量化的方法。