近些年来,神经网络在诸如物体识别,目标检测和语义分割之类的任务中取得了巨大的进步。但是通常来说,具有良好性能的模型所拥有的参数数量往往非常大,而且在应用时有较高的内存、计算成本,这与嵌入式设备上资源受限的环境形成了矛盾,严重限制了高性能网络的实际应用。为了解决这些问题,近年来一个新兴研究领域——神经网络压缩技术被认为是一个可以降低深度神经网络冗余度从而降低网络存储大小、加快网络运算速度的技术。在压缩技术中,模型稀疏化是一种从模型中删除冗余参数的重要方法,因此在本论文中作者就低损神经网络模型压缩的稀疏化方面进行一定的研究探索和应用探索,分别是:人脸识别模型及其压缩加速应用、基于注意力机制的神经网络压缩算法研究以及神经网络模型压缩的技术标准化。本文具体的创新点和贡献总结如下:1、基于人脸识别模型的现实应用和嵌入式部署需要,本文应用前沿人脸识别技术在大型数据集和专用数据集上训练出识别模型,并达到了现实应用的准确率水平。然后根据模型的参数结构特点,利用幅值分析策略对识别模型进行压缩、加速,令模型在嵌入式设备上达到了实时识别的效果。2、借鉴生成对抗领域中自我注意力机制在挖掘特征关联性、信息相关性方面的功能,本文将其与模型压缩的稀疏化策略结合,提出了一个基于自我注意力机制的神经网络模型压缩算法,在业界的基准数据集上获得了良好的效果。3、本文深度参与了国家信息产业部下神经网络表示与压缩国家标准的制定,提出并发表了多个技术提案,涵盖技术框架、具体算法等方面,并被工作组接收,促进神经网络压缩的技术标准化,使其作为技术标准推动神经网络应用工业化。