论文部分内容阅读
近年来,深度卷积神经网络(CNN)在诸如视觉内容定位、检索、检测与识别等任务获得了突破式的性能提升,通过可学习的卷积滤波器、带有非线性输出单元的神经元、更深层的网络、更多样本,卷积神经网络算法得以拥有足够优异至应用级的表现,被广泛部署在服务器端与移动终端等嵌入式设备中。但是,卷积神经网络以高昂的计算成本为代价换取性能增益的同时,也意味着在工业部署中部署等量的服务需要更高的硬件开销,同样,在学术研究中,网络模型的训练时间成也限制了研究效率的瓶颈。因此,一种与具体硬件环境低耦合的卷积神经网络加速算法对扩展卷积神经网络的应用范围、降低应用成本有着重大意义。因故,本文在深入研究卷积神经网络模型结构、基本组成单元以及系统分析网络模型的计算时间开销成本的基础上,提出了一种基于图像/特征图尺度空间压缩与参数通道空间压缩的卷积神经网络加速算法。本文的创新点和独立工作主要体现在以下几个方面:1、一种新的结合特征与参数压缩的加速算法及Im2col与Pooling优化算法(1)针对图像尺度空间,利用基于Mask的特征压缩算法实现加速,针对参数通道维度,利用基于张量分解的参数压缩算法实现加速,结合特征尺度空间与参数通道空间的压缩,提出了一种新的具有较高加速性能与较低损失的加速算法。(2)针对步长为一情况下原输出在空间尺度上的相关性,提出了一种无损的Im2col与Pooling层加速算法。2、加速算法的复合加速策略研究(1)从理论的角度系统分析了不同种类的加速算法在不同环境中叠加的加速比与性能损失,并用实验验证从理论出发得到的结论。(2)利用基于Dark Knowledge的训练优化算法恢复在有损加速算法下卷积神经网络的性能损失。(3)在(1)(2)的基础上,进一步提出了一种行之有效的卷积神经网络复合加速策略。