论文部分内容阅读
支持向量机(Support Vector Machine, SVM)是模式识别领域广泛使用的强有力的分类工具。SVM的特点主要是通过引入核函数将原始空间中的训练数据转换到相应的Hilbert特征空间,使输入空间线性不可分的问题变成普通的线性可分的问题,其中核函数(包括核参数)起着非常重要的作用。核函数(包括核参数)的不同意味着获得的Hilbert特征空间不同,SVM超参数(包括核参数和惩罚参数)的选择直接影响着SVM的泛化性能,因此而得到的最优分类面及分类结果也不同。但是SVM超参数选择由于缺乏有效的理论分析,致使该问题成为模式识别、机器学习领域长期存在的难题。SVM作为分类工具已成功应用于人脸识别,但目前人脸识别研究普遍受到不同姿态、光照等环境变化因素的制约。研究表明,具有最佳超参数的SVM模型可以在一定程度上抑制人脸因环境变化带来的影响。而SVM最佳超参数选择在实际问题中的应用所遭遇的主要困难是SVM超参数选择的效率问题。尤其在解决诸如人脸识别这类具有稀疏、超高维特征的分类问题时就显得更加突出。为此,本文对SVM超参数调节方法进行了研究,提出了适用于人脸识别的SVM超参数优化算法,得到了较好的实验结果。本文的主要工作是基于均匀设计(Uniform Design, UD)的基本原理,提出用于解决人脸识别问题的SVM超参数调节方法。该方法的核心是用UD代替传统的网格(Grid)和梯度下降(Gradient Descent)方法,挑选充分均衡分散在整个试验范围内且能得到满意实验结果的特征点,通过最小化k折交叉验证误差界或留一法(Leave One Out, LOO)误差界获取SVM最佳超参数。本文在研究中发现,虽然基于UD的SVM超参数调节能有效地降低计算复杂度,但由于该方法采用单目标作为评价标准,在解决人脸识别这一实际问题时,SVM的泛化性能还有待改善。因此,本文进一步提出了多目标均匀设计(Multi-Objective Uniform Design, MOUD)优化算法。MOUD方法以灵敏度和精确度作为多目标优化算法的目标函数,并以此代替传统的单目标作为SVM超参数调节的评价标准,该方法结合UD方法搜索整个试验范围内均匀散布的试验点,这样不仅能有效地降低计算复杂度,还能在一定程度上保证SVM的泛化能力。本文在UCI模拟数据集和人脸图像库上进行了验证实验。结果表明:本文提出的MOUD方法与传统的SVM超参数调节方法相比,能大大降低超参数调节的时间且能在一定程度上提高人脸分类识别率。这使SVM超参数调节方法在解决高维人脸真实数据问题时具有一定的实用价值。