论文部分内容阅读
人工智能已经成为当今社会的热点话题之一,这主要归功于深度学习的迅速发展,而卷积神经网络(Convolutional Neural Networks,CNN)是深度学习的重要模型。CNN主要被应用于计算机视觉领域,并在该领域取得了许多优异的成果。大多数CNN都是基于实数表示的,而很少是基于复数表示的。最近研究表明,基于复数表示的网络比基于实数表示的网络具有更好的表达能力,但现有的复数CNN模型存在一些问题。大多数模型是双分支结构,其中有一条分支没有复数卷积层(捷径连接)。相对于该结构,多分支结构每个分支都可以学习一种变换。另外,现有的模型没有关注复数特征图之间的关系,每个复数特征图对当前任务的贡献程度并不一致。本文针对这些问题,提出新的复数CNN模型,主要工作如下:
(1)本文提出了复数域分解-变换-合并方案,构建了新的网络模型复数聚合残差网络(Complex-valued Aggregated Residual Networks,cResNeXt)。在尽量保持模型复杂度的同时,通过增加分支数,提升网络的性能。该网络的核心模块是多分支结构,每个分支都包含了3个复数卷积层。首先第一个复数卷积层将高维复数特征图分解成低维复数特征图。然后第二个复数卷积层将低维特征图进行变换得到同维度的复数特征图,第三个复数卷积层将低维特征图进行升维,得到了高维复数特征图。最后将每个分支的复数特征图进行同维度相加。另外,在该模块中添加了一条捷径连接,用来构建深层的网络。为了使该模块的结构更为简便,本文在该模块中应用了复数分组卷积方案,形成了一个新模块,该模块的多分支结构中只包含了第二个复数卷积层,并且分支的输入和输出的维度都是相同的。
(2)本文提出了复数域特征重标定方案,并将该方案应用于网络中,构建了复数通道加权网络(Complex Channel-weighted Networks,cSENet)。通过学习各个复数特征图的相应的复数权重值,增强对当前任务贡献度较高的复数特征图,抑制贡献度较低的复数特征图。该网络核心模块的具体操作为,首先复数输入特征图通过全局平均池化操作得到每个复数输入特征图的全局信息。然后全局信息通过复数域门控机制得到每个复数输入特征图所对应的复数权重值。最后每个复数输入特征图与对应的复数权重值进行相应的运算得到复数输出特征图。其中,复数域门控机制是由两个1×1复数卷积层组成,第一个复数卷积层用来降低维度,可以减少计算量。第二个复数卷积层带有Sigmoid激活函数,可以把复数权重值的实部和虚部都映射在0到1之间。
(3)结合以上两种方案,本文将cSENet融入到了cResNeXt中,提出了复数通道加权聚合残差网络(Complex Channel-weighted Aggregated Residual Networks,cSE-ResNeXt)。它的核心构件是将cSENet块连接在cResNeXt块的最后一个复数卷积层上,并用捷径连接将cResNeXt块的输入与cSENet块的输出复数特征图进行连接。具体流程为首先复数输入特征图x通过多分支结构,进行特征提取得到z,然后,z经过全局平均池化与复数域门控机制得到权值c,权值c与复数特征图z进行相应的运算得到s,最后输入复数特征图x与s进行同维度相加操作得到复数输出特征图y。
(1)本文提出了复数域分解-变换-合并方案,构建了新的网络模型复数聚合残差网络(Complex-valued Aggregated Residual Networks,cResNeXt)。在尽量保持模型复杂度的同时,通过增加分支数,提升网络的性能。该网络的核心模块是多分支结构,每个分支都包含了3个复数卷积层。首先第一个复数卷积层将高维复数特征图分解成低维复数特征图。然后第二个复数卷积层将低维特征图进行变换得到同维度的复数特征图,第三个复数卷积层将低维特征图进行升维,得到了高维复数特征图。最后将每个分支的复数特征图进行同维度相加。另外,在该模块中添加了一条捷径连接,用来构建深层的网络。为了使该模块的结构更为简便,本文在该模块中应用了复数分组卷积方案,形成了一个新模块,该模块的多分支结构中只包含了第二个复数卷积层,并且分支的输入和输出的维度都是相同的。
(2)本文提出了复数域特征重标定方案,并将该方案应用于网络中,构建了复数通道加权网络(Complex Channel-weighted Networks,cSENet)。通过学习各个复数特征图的相应的复数权重值,增强对当前任务贡献度较高的复数特征图,抑制贡献度较低的复数特征图。该网络核心模块的具体操作为,首先复数输入特征图通过全局平均池化操作得到每个复数输入特征图的全局信息。然后全局信息通过复数域门控机制得到每个复数输入特征图所对应的复数权重值。最后每个复数输入特征图与对应的复数权重值进行相应的运算得到复数输出特征图。其中,复数域门控机制是由两个1×1复数卷积层组成,第一个复数卷积层用来降低维度,可以减少计算量。第二个复数卷积层带有Sigmoid激活函数,可以把复数权重值的实部和虚部都映射在0到1之间。
(3)结合以上两种方案,本文将cSENet融入到了cResNeXt中,提出了复数通道加权聚合残差网络(Complex Channel-weighted Aggregated Residual Networks,cSE-ResNeXt)。它的核心构件是将cSENet块连接在cResNeXt块的最后一个复数卷积层上,并用捷径连接将cResNeXt块的输入与cSENet块的输出复数特征图进行连接。具体流程为首先复数输入特征图x通过多分支结构,进行特征提取得到z,然后,z经过全局平均池化与复数域门控机制得到权值c,权值c与复数特征图z进行相应的运算得到s,最后输入复数特征图x与s进行同维度相加操作得到复数输出特征图y。