本文研究基于局部特征的图像分类识别问题。为了达到提高分类精度的目的,本文主要研究识别系统在特征层和码本层的图像表示优化问题。在每个层上各研究两个问题,分别是特征层上的采样策略和降维方法,以及码本层上的加权方法和构造方法。在特征层,首先关注局部特征的采样策略。在图像分类识别和图像匹配等应用中,局部特征的采样位置和其对光照和几何变化的稳定性都影响着其应用性能。为此,本文提出了一种检测仿射不变特征区域的通用方法,在该方法框架下构建了基于第四微分不变量(D14)的仿射不变区域算法。通过图像匹配实验验证了其光照和几何不变性,在图像分类识别中,通过与多种关键点算法和稠密采样方式的比较,研究了采样策略对分类识别的影响。在特征层,然后重点研究线性判别式投影(LDP)方法,旨在既降低图像局部特征维数又提高特征辨别力的。在监督式降维方法的框架下深入分析了该投影的性质,研究了它与多种降维方法的联系。然而LDP在实际图像应用中存在一个局限性,它需要大量事先标注的图像切片用于训练。为了克服这一局限性,本文提出了一种用于产生匹配训练数据的仿真学习方法,并论证了该方法的性能逼近有标注切片的训练方法的性能。该方法为LDP的广泛应用开辟了道路,能方便地应用于没有标注训练数据的应用中。同时,该仿真学习方法也适应于图像局部特征的其它监督式降维方法。多个标准数据库的图像匹配和图像分类识别实验结果表明,使用仿真方法估计的LDP在明显降低特征维数的同时,还能提高特征在应用中的性能。在码本层,旨在通过机器学习的方法提高码本的辨别力。考虑到各个码字对于分类任务的辨别力各异,本文提出了一种用来衡量码字辨别力的码本权值学习方法。受距离度量学习思想的启发,将该问题归结为相似性度量学习的问题,可以公式化为求解一个有约束的凸二次规划问题。用bootstrapping的约束条件选择方法和交互式优化方法解决了该规划的效率问题。合成数据和实际数据的实验表明,提出的码本学习方法能提高分类精度,当码本尺寸相对于训练样本数目较大时,这种提高尤为明显。在码本层,码本的构造方法、码本大小和码字分配策略等很大程度上影响着分类识别精度。通过多组比较实验,系统地分析了这些影响因素,得出了一些重要结论。实验表明,在硬分配策略下,凝聚(agglomerative)聚类码本的分类性能甚至比随机采样的码本差,而在软分配策略下,它优于k-均值和随机方法。还发现增加码本大小能提高分类性能,但超过一定大小后就没有帮助。由于码字越多,不确定性越高,这样使得软分配策略对于大尺寸码本的性能提高更有帮助。以上这些结论为提高分类识别性能提供了合理构造码本的依据。