线性判别分析的迭代解法及其应用

来源 :中国海洋大学 | 被引量 : 0次 | 上传用户:tc_b074220
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
线性判别分析(LDA)作为一种降维技术,已成功应用于许多分类问题中,如语音识别、人脸识别、信息提取等领域。LDA的主要思想是寻求一个最优线性变换,使得原始数据从高维空间中映射到低维空间。该变换能够使数据集的类内散度最小且同时使得类间散度最大,从而实现最大程度的判别。数学上,这种方法表述为下述最优化问题(比迹问题)[19]:W=arg max tr w[WTSωW)-1(WTSbW)]然而,从统计观点看,更合适的判别准则为(迹比问题):W=arg max tr w[WTSbW)/tr(WTSωW)但是,迹比问题的全局最优解没有显式计算公式,比迹问题可以通过广义特征值分解而得到有效解决。本文对求解迹比问题的三种主要方法:二分法、Iterative Trace Ra-tio(ITR法)、Decomposed Newton’s Method(DNM),进行研究并做了一些改进。首先,对于样本维数高、计算代价高以及小样本问题,我们通过移除总体散度矩阵St的零空间,从而使计算代价明显减少,并且解决了奇异性问题。其次,对这三种迭代方法与基于比迹准则的方法进行比较,结果表明迹比最优化准则的识别率高于基于比迹最优化准则识别率。另外,对于ITR算法,我们对初始迭代矩阵的选择进行了研究。结果表明,选择好的初始迭代矩阵使得算法的收敛速度有明显的提高。最后,我们分析了组内样本的相关性对识别精度的影响。通过选择一些线性无关的样本作为训练集,使得识别率有明提高,说明样本的选择对识别率有直接影响。
其他文献
差分方程是和微分方程相平行的一个数学理论,它不但在数学各分支内应用甚广,而且由于电子计算机的迅速发展和广泛使用,它已成为现代控制理论、通讯理论等科技领域内的一个基本数
本文通过构造一个可逆马氏链模型,描述了金融市场中多组相互作用人群的进出与彼此间的转移。使用一个分布向量来描述人群大小的分布情况。在根据经济学背景给出了转移速度后,推
学位
新一年《瞭望》以连续两篇大篇幅文章《党内监督条例出台前前后后》和《中国反腐战略转向》,详细介绍了中国反腐败斗争出现的具有重大历史意义的战略性变化,挑灯捧读之余,感
多组变量间的极大相关问题(MCP)有重要的统计应用。由Lagrange乘子法可知,多元特征值问题(MEP)是MCP全局解的一阶最优必要条件。经典的Horst、Gauss-Seidel及P-SOR等方法可以
该文研究取非紧支集模糊数值的模糊随机变量,所谓非紧,即把传统模糊数要求的紧支撑条件去掉.作为理论基础,该文首先在非紧模糊数集上引入广义距离并证明了其完备性与可分性;
嵌入在三维球面S3中的图G被称作是2-不可约的,如果图G没有分离球面、切割球面、奇异分离球面、奇异切割球面以及2-切割球面。圆片D是嵌入在三维球面S3中的二维圆片,对于空间图G
孩子在不断成长过程中,形成的行为习惯都会影响孩子后期的发展、学习与生活,所以,在孩子还没有形成稳定的行为习惯之前,就要针对孩子的自身特点进行培养,并利用良好的方法使
广西梧州市博物馆收藏着一幅原由李济深先生收藏的何香凝的国画《霜菊寒梅图》轴,淡彩水墨,主体是一株寒冬不凋的梅花,与之相衬的是兰和菊花。画面的左上方是李济深先生的题
初中科学包含了初中物理、化学、生物,是一门以现象、过程、理论相结合的综合性学科,在教学中充分利用实验教学,来提高课堂效率和学生素质,可以起到事半功倍的效果。 The ju