深度学习利用多层非线性变换的堆叠来提取数据的高层次表示,受益于海量训练数据和强大计算能力,深度卷积神经网络已成为计算机视觉诸多领域的主流方法。尽管深度卷积神经网络取得了优异的性能,其需要大量的资源消耗。在资源受限的环境下,这些“笨重”的模型难以用于许多现实任务中。卷积神经网络的核心是利用多层卷积层的堆叠提取特征。因此,设计高效而精简的卷积特征,将具有科学研究意义和实际应用价值。卷积特征是一种分布式的表示,卷积特征的通道和语义信息是“多对多”的映射。本文基于卷积特征的分布式表示特性设计高效精简的卷积特征,主要工作包括:1.基于预训练模型的高效卷积特征提取。由于获取训练数据的标记需要消耗大量的资源,借助在大规模数据集上的预训练模型,从图像中提取出高效的卷积特征表示,是近期的一个研究焦点。目前主流的卷积特征提取方法通常是各个通道独立地对卷积特征进行聚合,鲜有考虑卷积特征的分布式表示特性。因此,现有的工作不能从预训练模型中充分挖掘更多有价值的信息。本文提出Gram聚合(Gram aggregation),根据卷积特征通道内部和不同通道之间的信息,得到高效的卷积特征表示。以无监督图像检索任务为例,实验发现,使用卷积特征通道之间的统计信息对检索性能起到至关重要的影响。2.减少信息损失的高效卷积特征亚采样。目前主流的卷积特征亚采样方法是使用最大汇合或步长为2的卷积层。然而,最大汇合中存在赢者通吃问题,只有每个局部区域数值最大的神经元被选为输出,在反向传播时,只有这个神经元得到后一层向前传播的梯度。步长为2的卷积层也存在信息损失。考虑到语义信息是分布式地散布在多个神经元之中的卷积特征分布式表示,本文提出集成最大汇合。在每个局部汇合区域,集成最大汇合以p的概率使输出最大的神经元失活,而激活输出第二大的神经元。集成最大汇合可以看作是多个基础网络的集成。实验结果表明,相比其他亚采样方法,集成最大汇合取得更好的性能。此外,通过将步长为2的卷积层改为集成最大汇合串联步长为1的卷积层的结构,可以使网络性能得到显著提高。3.避免信息阻塞的精简卷积特征设计。分组卷积相比经典卷积操作更加精简,是目前精简卷积特征设计广泛使用的模块之一。然而,经典的分组卷积的各分支是相互独立的,彼此之间没有信息交互。而卷积特征的分布式表示说明,所有的通道均参与到某个语义信息的表示中去,分组卷积从而存在“信息阻塞”现象。因此,本文提出GCOS(Group COnvolution with Shuffling),利用1×1卷积对卷积结果的不同分组之间进行信息交互。在和目前主流的基于通道重要性的卷积核级别剪枝方法ThiNet结合后,可使卷积特征更加精简。实验结果表明,经典的491.29MB的VGG-16模型可以被压缩到一个只有2.66MB的模型(ThiNet-Tiny),并同时具有AlexNet级别的准确率。