论文部分内容阅读
近年来随着人工智能的新一轮复兴,计算机视觉领域迎来飞速发展。卷积神经网络作为计算机视觉领域的基础模型之一,是当前许多计算机视觉领域研究和应用的基石。卷积神经网络模型性能的优劣直接决定了目标检测、图像语义分割、人脸识别、视觉问答等其他计算机视觉任务的上限。卷积神经网络模型性能的提升,可以带动与之相关的所有计算机视觉系统的进步。卷积神经网络模型是最近几年的研究热点之一。卷积神经网络经过多年的发展,已经从片面追求高准确率的大规模网络逐渐过渡到研究更加适应实际应用问题的轻量级的模型和架构。轻量级的卷积神经网络旨在保证达到与大型网络模型准确率相当的前提下,大大降低网络的规模、减少模型的训练时间和预测时间,使模型甚至可以在内存和计算资源都十分有限的嵌入式设备上运行。轻量级的卷积神经网络可以促进更多的计算机视觉领域的研究应用到工业界的产品和服务中。本文主要从卷积分解的角度出发,研究如何构建轻量级的卷积神经网络。我们认为卷积分解是轻量级卷积神经网络发展的核心思想,本文从空间学习和通道间关系学习的解耦角度重新解释了几个重要的轻量级卷积神经网络。当前轻量级卷积神经网络的主要模块之一是深度卷积,深度卷积是对空间关系学习的解耦,但却是当前轻量级卷积神经网络的性能瓶颈。本文针对可以高效替代深度卷积的Shift模块和主动Shift模块表示能力的不足,提出了性能更好、更加高效的多重主动Shift模块。本文的主要工作可以总结为以下三个方面:第一,从标准卷积的空间关系学习和通道间关系学习解耦的角度,系统地解释了轻量级卷积神经网络的主要发展思想。第二,介绍了可以替代空间卷积的Shift算子和主动Shift算子,证明了Shift模块与加入了卷积核稀疏性限制的标准卷积的等价性,并从卷积分解融合的角度解释了Shift模块。第三,针对Shift模块和主动Shift模块对标准卷积近似度的不足,提出了可以调节与标准卷积近似程度的多重主动Shift模块,并在CIFAR10/100和ImageNet 2012数据集上验证了使用多重主动Shift模块构建的MASNet在速度和准确率等方面的优势。