论文部分内容阅读
近年来随着神经网络研究深度的增加,神经网络需要解决的场景越来越复杂,网络模型也随之变得复杂。复杂的模型使得预测过程的耗时逐渐变长,如何在保证原网络精度基本不变的前提下,对神经网络的预测过程进行加速是论文研究的重点内容。
论文主要研究了神经网络加速领域中的高效剪枝、低秩分解和硬件加速算法,并使用LeNet5、AlexNet、VGG11、VGG16等四种经典神经网络对上述加速算法进行实验验证。在此基础上对上述加速方法进行优化,进一步减少神经网络预测过程的耗时,提高原有加速方法的加速效果。
论文主要工作如下:
1、研究了基于一阶泰勒展开剪枝标准的高效剪枝算法。基于多个任务场景的实验结果表明,该剪枝算法能够有效剪除原网络中冗余的参数,提高网络的计算效率。并在此基础上提出两点改进:①根据剪枝的原理,将模型剪枝后进行重训练恢复精度时所使用的优化算法从随机梯度下降法变为动量优化算法,加快模型的恢复速度;②在高效剪枝的基础上调整原有的剪枝标准。基于多个任务场景的实验结果表明,优化后的剪枝算法相比较原算法,在剪枝百分比为30%的前提下,神经网络的精度提高10%,且预测耗时进一步减少。
2、研究了规范多元分解和Tucker分解两种加速算法。基于多个任务场景的实验结果表明,两种低秩分解算法能够在保留权重张量中有效信息的基础上,提升计算效率,减少预测耗时。在此基础上,研究并提出了将Tucker分解与优化后剪枝算法相结合的融合加速算法。基于多个任务场景的实验结果表明,融合加速算法相较于单一的Tucker分解算法与剪枝算法,能够更大程度地减少模型预测消耗的时间,同时更大程度的保留原模型的精度。
3、研究了基于FPGA的神经网络硬件加速算法。基于Zedboard开发板的图像识别实验表明,与在ARM处理器上运行的网络相比,在FPGA上对卷积神经网络卷积层的计算过程进行加速能够有效提高网络的运行效率,大大减少预测耗时。并在此基础上,提出了对参数进行定点量化处理的优化方法。实验结果证明,与原硬件加速方法相比,定点量化节约了硬件资源,进一步提高了网络的计算效率。
论文主要研究了神经网络加速领域中的高效剪枝、低秩分解和硬件加速算法,并使用LeNet5、AlexNet、VGG11、VGG16等四种经典神经网络对上述加速算法进行实验验证。在此基础上对上述加速方法进行优化,进一步减少神经网络预测过程的耗时,提高原有加速方法的加速效果。
论文主要工作如下:
1、研究了基于一阶泰勒展开剪枝标准的高效剪枝算法。基于多个任务场景的实验结果表明,该剪枝算法能够有效剪除原网络中冗余的参数,提高网络的计算效率。并在此基础上提出两点改进:①根据剪枝的原理,将模型剪枝后进行重训练恢复精度时所使用的优化算法从随机梯度下降法变为动量优化算法,加快模型的恢复速度;②在高效剪枝的基础上调整原有的剪枝标准。基于多个任务场景的实验结果表明,优化后的剪枝算法相比较原算法,在剪枝百分比为30%的前提下,神经网络的精度提高10%,且预测耗时进一步减少。
2、研究了规范多元分解和Tucker分解两种加速算法。基于多个任务场景的实验结果表明,两种低秩分解算法能够在保留权重张量中有效信息的基础上,提升计算效率,减少预测耗时。在此基础上,研究并提出了将Tucker分解与优化后剪枝算法相结合的融合加速算法。基于多个任务场景的实验结果表明,融合加速算法相较于单一的Tucker分解算法与剪枝算法,能够更大程度地减少模型预测消耗的时间,同时更大程度的保留原模型的精度。
3、研究了基于FPGA的神经网络硬件加速算法。基于Zedboard开发板的图像识别实验表明,与在ARM处理器上运行的网络相比,在FPGA上对卷积神经网络卷积层的计算过程进行加速能够有效提高网络的运行效率,大大减少预测耗时。并在此基础上,提出了对参数进行定点量化处理的优化方法。实验结果证明,与原硬件加速方法相比,定点量化节约了硬件资源,进一步提高了网络的计算效率。