图像检测与识别任务的性能很大程度上取决于特征的表达能力,好的特征应该能丢弃无关信息,并将图像中与任务相关的要素充分的抽象出来。传统的描述子受到表达能力的限制,成为图像检测与识别任务中的瓶颈。而近年来迅速发展的特征学习模型能够从数据中学习图像的特征,将图像检测与识别算法的能力推向了一个新的高度。在特征学习算法中,通过对特征的池化(pooling)操作,可以生成一个更有效、包含了重要信息的新特征,同时抛弃一些无关细节。池化能够使特征产生一些较为复杂的特性,因此有研究者也将特征学习模型中的池化,与哺乳动物复杂视觉细胞相对应。在神经科学中,这些复杂视觉细胞对于输入信号的响应具有局部性、带通性和选择性,上述性质也被称作复杂视觉细胞的感受野。本文的主要工作,围绕面向图像检测和识别任务的特征学习展开,旨在通过对池化模型的改进,进一步地提高特征的表达能力。一些研究者将池化模型上的学习方法称为感受野学习。本文对特征词袋(Bag-of-features,BoF)模型和卷积神经网络(Convolutional Neural Networks, CNN)模型上的池化展开研究,主要工作和贡献包含以下四个方面:1)提高BoF模型的池化特征对于特征图(feature map)局部空间统计信息的表达能力。首先,通过对于已有池化方案的分析,提出一种空间相似度低的池化区域方案,降低由于空间区域相似导致的特征冗余。其次,对于含有不同特征数量的池化区域予以区分。含有特征数量较多的池化区域,采用多种聚合运算来生成多个池化特征。最后,在这些池化特征上使用Fisher核方法,将其在特征空间的分布信息考虑在内。这些低冗余、局部统计丰富、包含特征空间信息的池化特征,能够提高特征的表达能力。2)解决BoF模型在分类任务中包含过多的冗余视觉单词和池化特征(pooled featue)的问题。针对此问题,本文提出两种解决方案:第一种在Jia等人的感受野学习算法基础上,对于分值函数进行改进,使学习过程能够尽可能地选择已使用特征图上的池化特征,从而减缓特征图数量的增长,达到简化BoF模型特征词典规模和池化特征数量的效果。第二种方案则是在第一种方案基础上,进一步将视觉单词和池化特征的选择分为两个阶段,首先确定重要性较高的视觉单词,然后选择这些视觉单词产生的特征图中的池化特征。3)提出在全局池化(global average pooling)层学习目标显著性特征的方法,并在显著性响应的特征图上利用结构信息定位人脸池化区域,形成一个以CNN为基础的人脸定位与识别的多任务模型。首先,在训练中使用负样本对于非人脸区域产生的响应进行抑制,使学习到的特征仅对于人脸区域产生响应,获得关于人脸的显著性。显著性学习能够抑制背景的干扰,提高特征表达在不同数据集的适应能力。其次,不同的特征图之间的显著性响应存在结构性。为了充分利用这些信息实现对于人脸的定位,本文使用基于部件(part-based)的方案设计模型。改进后的模型能找到更加合适的池化区域,从而具备一定的人脸对齐功能。最后,将显著性学习和人脸定位过程作为一个完整模型进行联合训练,使特征学习与人脸定位相互适应。4)提高基于区域神经网络方法(Region-based Convolutional Neural Networks,R-CNN)中候选区域的有效性。首先,将显著性学习同基于区域的方法相结合,利用显著性所提供的目标局部性信息、上下文信息和部件之间的结构信息,对候选区域进行评分,仅保留那些评分较高的区域。其次,对于检测任务中存在整体与部件关系的目标,由于部件之间的高度重叠和相关,使得RPN (Region Proposal Network)区域提取时会产生歧义,削弱候选区域的有效性。本文采用多任务分支来消除候选区域提取时的歧义问题。最后,提出模型参数裁剪的方案,在模型中仅保留那些重要性较高的部分。对于规模较小的检测问题能够有效地提高检测效率,并保证检测精度。