近年来,人工智能产业飞速发展,其中深度神经网络的进步尤为显著。然而神经网络优异表现的代价是复杂的网络结构和庞大的计算量。单纯追求网络性能而不考虑运算代价将会极大地限制其能被部署的应用场景。数据量化是一种主流的神经网络部署研究方向。量化通过减少数据表示的比特位宽来对网络进行压缩和加速,不需要改动原有网络结构,并且对硬件友好,但现有方法也存在一些问题。首先,现有量化感知训练方法需要访问原始数据集并确定量化位宽,而这两个前提条件在实际情况中不一定能满足。其次,现有量化算法对网络的压缩加速还存在大量冗余,可以通过算法架构协同设计进一步提升网络推理效率。针对上述问题及缺陷,本文做出以下创新性研究成果:·本文针对量化感知训练中无训练数据和量化位宽不确定这两种场景,分别提出了无数据量化感知微调（DFQF）和动态精度洋葱量化（DPOQ）。无数据量化DFQF方法首先依据全精度模型的输出训练一个生成网络,然后通过生成网络来伪造训练数据集,将全精度模型的知识蒸馏给量化模型。动态多精度量化DPOQ方法训练的网络可以适配多种量化位宽,网络结构上高精度的网络会复用低精度网络的参数和中间结果,用户可以依据部署设备的计算能力改变网络量化精度而无需重新训练。·本文提出一种结构化比特剪枝的算法硬件架构（STP）,在细粒度的比特层面继续探索量化冗余。软件算法上,通过指导性训练让网络参数更容易向拥有更少非零比特的值更新来提升比特稀疏度,并通过组的方式对计算进行结构化。硬件架构上,采用位串行乘累加器,在计算时通过跳过无效的乘零操作来提升推理效率,并且将多个位串行乘累加器组成交错处理单元来实现和并行乘累加器近似的吞吐量。在ImageNet数据集的ResNet18模型上,获得了 2.35倍的计算能效提升。·本文为了实现依据不同的输入图片动态改变量化精度,提出了两种不同粒度下的动态精度算法硬件架构,分别为逐样本动态精度（SWDP）和结构化区域动态量化（SDP）。SWDP采用了 DPOQ的网络结构并利用其多精度易切换特性,根据低精度网络的输出置信度判断输入样本难易程度,为不同样本分配合适的量化精度。SDP则是将量化后的数据拆分为高低两个部分,通过非零Top-K方法选择固定数量的重要部分数据用于计算以结构化方式减少运算量。硬件架构上,SDP实现了相应的处理单元以支持动态挑选运算数据,并设计了和脉动阵列偏移输出相适配的全流水Top-K硬件引擎用于识别特征图重要性。SDP和现有动态精度加速器相比获得了 29%的性能提升和51%的节能。