随着智能家居、智能安防、自动驾驶等领域的快速发展,工程上迫切需要将深度神经网络部署到各种嵌入式设备中,如冰箱、电视、摄像头、车载电脑等等。然而,目前嵌入式设备部署应用深度神经网络面临着模型参数量大、设备环境复杂等困难。因此,本文针对嵌入式设备部署应用深度神经网络所面临的问题展开了具体研究。首先,针对深度神经网络难以在资源受限的嵌入式设备上高效存储和运行的问题,本文以网络量化为基础,提出了基于标量量化和乘积量化的融合量化算法,实现了神经网络的压缩和加速。其次,针对实际应用场景中量化算法无法获取原始数据以校正量化误差的问题,提出了基于合成数据的融合量化算法,实现了无数据量化,摆脱了对原始数据的依赖。最后,针对嵌入式设备系统环境复杂,模型部署困难等问题,提出了基于轻量级容器的模型部署框架,实现了神经网络的大规模部署。具体内容如下:1.提出基于标量量化和乘积量化的融合量化算法。算法利用标量量化将乘积量化得到的映射码本的元素值转换为8位整型数。再配合8位整型的激活值,实现神经网络的定点运算,达到计算加速的目的。为了消除由不同输入引起的激活值分布误差,利用饱和截断法缩小激活值的量化区间,实现激活值的8位标量量化。最后向神经网络插入伪量单元,引入标量量化误差,通过反向传播更新参数并消除误差。融合量化算法充分结合了标量量化与乘积量化的优势,能在显著减小模型体积的同时降低网络运算量。2.提出基于合成数据的融合量化算法。基于批归一化（Batch Normalization）的移动均值和移动方差包含内部激活值的统计特征这一认识,通过最小化激活值的均值方差与移动均值方差的误差平方和,近似预训练模型中激活值的统计特征,产生合成数据。接着融合量化算法利用合成数据获取网络各层激活值和反向传播时的梯度,完成截断阈值的计算和映射码本的微调,实现无数据量化。3.提出基于轻量级容器的模型部署框架。利用容器良好的隔离性、可复制性等特点,能有效解决传统部署方案存在的严重依赖设备环境、存在大量重复工作、模型升级困难等问题。部署框架采用C/S架构模型,具体分为前端界面、服务端和终端设备。服务端包含后台管理、模型量化、镜像制作以及网络通信等功能。终端设备运行容器引擎和Agent管理程序,在容器内执行神经网络的推理计算。最后,对Docker进行了轻量化改造,改造后的容器大小减小了5倍,运行效率提升了3倍。