基于Kre(?)n空间的两阶段学习算法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:gengkc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
两阶段学习算法是将一些传统机器学习算法由原始的一步解决问题的过程拆分为两个不同的学习阶段,而问题求解的本质保持不变的学习框架。最初,两阶段学习算法的引入是用来解决核Fisher判别分析(Kernel Fisher Discriminant Analysis,KFDA)在处理高维小样本数据时所面临的病态问题。具体地,两阶段核Fisher判别分析(Two-phase Kernel Fisher Discriminant Analysis,TPKFDA)算法是KFDA问题求解的本质,它将KFDA问题的求解等价转换为核主成分分析(Kernel Principal Component Analysis,KPCA)和Fisher判别分析(Fisher Discriminant Analysis,FDA)两个阶段来依次求解。但是,TP-KFDA算法仍存在两个局限性:(1)核函数的选择不够丰富;(2)适用问题单一。一方面,TP-KFDA算法要求核函数必须满足正定性的约束,即所采用的核函数须满足Mercer定理,其在一定程度上限制了核函数丰富的选择范围。最新研究表明,在一些情况下,不定核的应用常常能够更好地刻画数据之间的关系,并且在许多实际应用中能够取得比正定核更好的建模能力。另一方面,TP-KFDA算法只能用于解决单模态数据的降维问题,对于其他问题并不适用,比如多模态数据分析问题、分类问题等,这将严重限制TP-KFDA算法的实际应用。因此,本文将从这两方面入手,对TP-KFDA算法进行研究与改进,研究成果总结如下:1)针对现有的TP-KFDA算法局限于使用正定核的问题,本文提出了一种基于Kre(?)n空间的两阶段不定核Fisher判别分析算法(Two-phase Indefinite Kernel Fisher Discriminant Analysis,TP-IKFDA),将不定核引入到TP-KFDA算法中,提高了核函数选择的灵活性。具体地,TP-IKFDA算法首先通过第一阶段不定核主成分分析(Indefinite Kernel Principal Component Analysis,IKPCA)对原始数据样本进行非线性降维预处理,然后在经IKPCA降维后的特征空间中进行Fisher判别分析。为了进一步地说明TP-IKFDA算法的合理性,本文基于Kre(?)n空间中对IKFDA问题的定义,通过理论推导证明了IKFDA问题求解本质上为经IKPCA降维后空间中的FDA问题。最后,在一些高维小样本数据集上进行分类实验验证,实验结果表明TP-IKFDA算法的分类性能优于现有的IKFDA算法。2)针对TP-KFDA算法仅用于解决单模态数据的降维处理,对于多模态数据分析难以利用的问题,本文提出了一种用于解决多模态数据问题的两阶段不定核典型相关分析(Two-phase Indefinite Kernel Canonical Correlation Analysis,TPIKCCA)算法。具体地,TP-IKCCA算法首先通过第一阶段的IKPCA对原始数据进行非线性降维预处理,然后在经IKPCA降维后的特征空间中进行第二阶段的典型相关分析(Canonical Correlation Analysis,CCA)。另外,本文基于Kre(?)n空间中对不定核典型相关分析(Indefinite Kernel Canonical Correlation Analysis,IKCCA)问题的定义,通过理论推导证明了IKCCA问题的本质为经过IKPCA降维后的特征空间中的CCA问题。最后,在真实数据集上的实验结果表明,TP-IKCCA算法相较于现有的IKCCA算法泛化性能有明显的提高。3)针对TP-IKFDA与TP-IKCCA均是用于数据降维的目的,适用范围仍有一定局限性的问题,本文进一步提出了用于解决分类问题的两阶段不定核支持向量机(Two-phase Indefinite Kernel Support Vector Machine,TP-IKSVM)算法。TPIKSVM算法通过将不定核支持向量机(Indefinite Kernel Support Vector Machine,IKSVM)问题的求解过程拆分为IKPCA和支持向量机(Support Vector Machine,SVM)两个阶段,以充分地发挥IKPCA处理高维数据的优势,最后结合监督信息以有效地进行分类模型SVM的构建。另外,本文基于Kre(?)n空间对IKSVM问题进行了重新的定义,并通过理论推导证明IKSVM问题的本质为经IKPCA降维后的特征空间中的SVM问题。最后,在真实数据集上的实验结果表明,TPIKSVM算法的分类精度优于目前主流的IKSVM算法。
其他文献
类人机器人在结构、感知、动作等方面与人类具有相似性,其研究涉及机械、控制、计算机等多个学术领域,是一个值得深入研究的方向。RoboCup是以击败人类足球世界杯冠军为目的机器人世界杯,该项目推动了机器人技术,特别是类人机器人技术的发展。本文基于SEU_Uni Robot类人足球机器人,优化设计并实现应用于RoboCup类人KidSize组别的上层控制系统。本文在提出上层控制系统总体方案的基础上,详细
近年来,因机器人在工业制造、深海探测以及航天航空等领域内发挥着重要的作用,其控制问题亦成为学术界的研究热点之一。本文将非奇异终端滑模、自适应技术以及有限时间稳定性理论相结合,研究了n关节刚性机械臂系统的轨迹跟踪控制问题。本文主要工作概括如下:(1)针对包含内部不确定和外部干扰的n关节刚性机械臂系统,基于非奇异终端滑模实现对参考轨迹的跟踪。首先,提出了一种包含反正切函数的新型非奇异终端滑模(ATNT
移动机器人作为新世纪智能化关键载体,已逐渐在工业、服务业、农业和航天等领域得到了广泛的运用。随着任务需求以及环境多样性的增加,移动机器人的研究不断面临新的挑战,尤其是其自动化和信息化。本文基于MT-R型移动机器人平台研究移动机器人的导航与抓取问题,具体内容如下:(1)基于单目视觉研究机器人的目标识别与测距算法。依据小孔成像模型利用张氏标定法对摄像机标定,获取相机内参。根据特定目标的颜色和形状特征,
冷轧管性能优越、精度高,广泛应用于国民经济许多领域。新型冷轧管机采用三个直流电机实现轧辊和回转、送进驱动,其性能和运行状态直接决定了冷轧管的质量。已有的冷轧管机现场监控器通过采集驱动电机的电压电流信号实现了对生产过程中冷轧管机运行状态的监控,并能够连接上位机实现监控数据存贮和管理。随着新型冷轧管机的技术升级和普及应用,轧管厂和制造商在设备安装调试、使用维护、故障维修、质量跟踪等方面都面临挑战,需要
类人机器人是智能机器人领域的研究热点,受到机器人学界的广泛关注。本课题针对Robo Cup类人足球机器人Kid Size项目,在东南大学SEU_Uni Robot团队历年研究成果基础上,优化设计和实现完整的类人机器人运动控制系统,以提升机器人运动性能。本文研究内容主要包括:搭建机器人的软硬件系统,采用两层控制器的控制架构,完成舵机执行器、传感器的选型,使用MCU作为机器人下层控制器,完成定时任务和
在传统多标记学习中,每个对象由单个特征向量构成的示例表示,学习系统的目标是构建由示例空间至标记空间幂空间的映射。一般而言,对象的特征表示对于学习系统的泛化性能有着重要影响。如何突破传统的单特征向量表示,提升多标记学习系统泛化性能,值得进一步深入研究。本文围绕多标记特征表示开展研究,主要做了如下两方面的工作:一方面,“类属特征(label-specific features)”表示通过为每个标记构造
零样本学习作为机器学习中的一项新的挑战,越来越多的研究者将注意力放在了这一项新的任务上。零样本学习指的是利用类别辅助信息,在没有对应类别训练样本的情况下,对该类别的样本做出正确预测的任务。零样本学习可以根据测试集中样本的类别分为传统零样本学习和广义零样本学习,也可以根据使用数据的不同,分为类别归纳示例归纳式、类别直推示例归纳式、类别直推示例直推式三种。在先前类别归纳示例归纳式的零样本学习研究中,对
图像内容理解是计算机视觉领域重要的研究目标。分割,尤以细粒度图像分割,是实现图像内容理解的一个重要途径。全景分割,作为细粒度图像分割任务中的一种,可以帮助计算机更全面的理解图像中每一类物体的位置、形状等信息,它的有效解决,将有助于自动驾驶、行为识别等多个问题的发展。本文主要着眼于神经网络建模、针对全景分割问题的计算机视觉方法研究。更具体来说,是通过对数字图像进行像素点级别的分类实现对图像中物体的识
随着社会与现代科技的发展,人们将面临着越来越多的数据,传统的机器学习方法计算开销大,通常难以应用到大规模数据的学习问题上。而当面对大规模学习问题时,在线学习往往是一种易于应用且高效的方法。现有的在线学习方法大致可分为线性模型和核化模型两类。其中,线性模型的计算开销小,所以计算速度快。但当面临复杂数据时,这类模型在精度上很可能表现不佳。后来有研究者引入核技巧(kernel trick),提出了核化模
多标记分类研究中,一个示例(由属性/特征向量表示)会关联多个类别标记,利用多标记数据可以构造一个从示例映射到类别标记集合的分类模型,这样的学习框架适用于多义性对象建模。传统的多标记分类任务中,通常假设实例对应的标记集合是完全准确的。然而,在某些复杂场景下(如网络图片标注),与示例关联的候选标记集合往往含有噪声,需要对含噪多标记分类问题进行研究。本文针对多标记分类中噪声标记问题与多标记分类中特征构造