论文部分内容阅读
细粒度图像识别是计算机视觉领域一项极具挑战性的研究课题。受益于近些年深度卷积神经网络的发展,细粒度图像识别也获得了极大的突破。目前,基于深度卷积神经网络与双线性汇合的方法已经成为细粒度图像领域的主流方法。然而,这两者都需要很大的计算资源和存储资源开销,这使得这些模型难以应用部署在资源受限的现实任务中。因此,研究高效精简的细粒度图像识别模型极具科学研究意义与实际应用价值。本文从精简骨干网络和设计高效双线性特征入手,研究高效精简的细粒度图像识别模型,主要工作如下:由于深度卷积网络由相当多的卷积层和其他线性/非线性层堆叠而成,其本身就需要大量的资源开销。而目前主流的精简细粒度模型主要都关注于设计高效的双线性汇合结构,很少关注什么样的骨干网络适合于精简的细粒度模型。因此,本文在目前优秀的精简网络Thi Net基础上提出截断Thi Net(Truncated Thi Net),充分挖掘了骨干网络的加速潜力。针对双线性汇合带来的资源开销问题,本文提出了全局权重池化(Global Weighted Pooling),利用自注意力机制编码二阶信息,从而得到高效精简的细粒度特征。实验发现,本文提出的方法与目前优秀的轻量级网络Mobile Net V2相比,在准确率相当的情况下,在手机端快约1.5倍,在计算机GPU上快约4倍,在计算机CPU上快约2倍。分析指出,本文提出的全局权重池化与目前大部分主流精简双线性汇合方法相比,需要更少的额外计算开销和存储开销。另外,实验表明,本文提出的模型在配备有AI协处理器的移动终端上也能很好的工作,某种程度上说明本文提出的方法能够很好适应未来移动AI应用发展的趋势。人脸识别任务也属于细粒度图像识别任务,但由于其数据复杂性使得该任务比一般细粒度任务更加困难。因此,目前主流的人脸识别模型多使用特别设计的损失函数提高性能,使得深度人脸识别模型的性能瓶颈仅出现在骨干网络。针对这一点,本文提出沙盒卷积模块(Sandbox-shaped Convolutional Block)来构建高效精简的深度人脸模型。该方法使用抑制-扩张操作对,从而构造精简卷积模块,其中抑制操作降低模块内计算复杂度,扩张操作减少模块内信息损失。实验表明,在目前优秀的深度人脸模型上应用该方法,在3个标准人脸测试集上准确率下降不超过0.1%,且速度有显著提升。