基于AdaBoost和特权信息的迁移学习方法研究

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:ivan_wongxc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
迁移学习能够利用从源域中学到的知识帮助目标域解决分类问题。特权信息是一种不同于原始特征并且只能在训练阶段使用的额外信息,利用特权信息辅助学习可以加强模型的训练效果。先前的迁移学习方法一般只利用原始特征训练分类器,却忽略了数据集中特权信息的价值。如何在迁移学习场景下利用特权信息辅助训练,并尽量提高分类准确率是一个值得研究的问题。本文提出了基于AdaBoost和特权信息的迁移学习方法(Research on transfer learning based on AdaBoost and privileged information,AdaTLPI),用于解决带有特权信息的迁移学习问题。在本文中,AdaTLPI方法将特权信息和AdaBoost算法融合到一个统一的迁移学习框架中,基于共享参数将知识从源域迁移到目标域。同时,在学习过程中利用两个域的特权信息加强模型的训练效果,并通过AdaBoost算法对迭代过程中的多个弱分类器进行加权线性组合得到最终的强分类器。此外,本文提出了一种有效的优化算法来解决目标方程,并且分析了AdaTLPI的训练误差边界。为了解决多分类问题,本文把AdaTLPI方法扩展为AdaTLPI-MC方法。实验结果表明AdaTLPI和AdaTLPI-MC方法的分类性能要优于现有的分类学习方法。本文的主要研究内容如下:(1)本文提出了基于AdaBoost和特权信息的迁移学习方法(AdaTLPI),可以解决带有特权信息的迁移学习问题,并提升目标域分类器的分类精度。AdaTLPI把特权信息和AdaBoost算法融合到一个统一的迁移学习框架中。从特权信息的角度看,AdaTLPI在学习过程中利用源域和目标域中的特权信息加强了模型的训练效果。从迁移学习的角度看,AdaTLPI基于源域和目标域的共享参数实现了知识的迁移,利用源域的知识帮助目标域训练分类器。同时,AdaTLPI通过AdaBoost组合多个弱分类器得到最终的强分类器。此外,本文将AdaTLPI扩展到多分类问题中,得到的AdaTLPI-MC方法可以解决带有特权信息的多分类问题。(2)为了解决提出的AdaTLPI目标方程,本文利用二次规划算法进行求解。先利用拉格朗日方法把原始问题转化为对偶问题,然后利用最优拉格朗日乘子求解该问题,并给出了优化算法的伪代码。本文证明了AdaTLPI的训练误差边界,从理论上分析了AdaTLPI方法的有效性。此外,在论文中还对AdaTLPI和AdaTLPI-MC方法的计算复杂度进行了分析。(3)本文在真实数据集上进行了大量的实验,以验证AdaTLPI和AdaTLPI-MC方法的性能。实验结果表明,与现有的分类学习方法比较,本文提出的AdaTLPI和AdaTLPIMC方法具有更好的分类性能。
其他文献
近年来,随着遥感技术与成像技术的发展与成熟,高光谱图像分类被越来越多的人研究和应用。与传统图像或者多光谱图像相比,高光谱图像中的光谱波段数量更多,使其拥有更多描述物体的信息。合理利用图像信息能够更为准确的识别地物,从而广泛应用于海洋探索、国防军事和大气环境等诸多领域。目前,现有多数的高光谱图像分类算法是以深度学习为基础,以达到较高分类精度的目的。但是,现有的深度学习算法中通常受到参数多、模型复杂和
学位
多视图聚类旨在利用不同视图信息的一致性和互补性,高效地发掘多视图数据的潜在价值,是大数据分析的主要研究方向之一。鉴于大多数传统的单视图聚类方法都不适用于处理多视图数据,且现有多视图聚类方法要么无法有效地探索视图之间的潜在联系,要么不能充分考虑到不同视图对最终聚类结果的贡献度,因此,如何提出高效的多视图聚类方法引起了不少研究者的重视。由于深度神经网络具有超强的非线性拟合能力,将多视图聚类和深度学习模
学位
单通道语音分离(Single Channel Speech Separation,SCSS)是指在一维混合说话人信号数据中分离出多个说话人语音信号的过程,因为单个麦克风具有价格低廉、容易部署、应用范围更广的特点,所以单通道语音分离技术具有广泛的使用价值。在现实应用中,现有的单通道语音分离技术往往容易受到未知噪声的干扰,出现泛化性能严重退化的问题。针对上述问题,本文基于卷积时域语音分离网络,引入了不
学位
复杂网络由于具有一定拓扑结构和其应用的普遍性以及描述的简单性,被广泛的应用于各个领域,例如多智能体系统、神经网络、社会网络等。在过去的十几年里,随着人们对复杂网络理论及其应用的关注,对复杂网络的研究取得的成果也越来越多。然而,在现实生活中,各类系统中的传感器往往不能够完全测量出系统的内部状态值,因此对系统状态估计问题的研究是十分具有现实意义的。并且随着当今社会信息化和智能化程度越来越高,如何对各类
学位
近几十年来,科学技术的发展超出了我们的想象,在模式识别领域中,同样是百家争鸣。在众多科研人员的努力下,特征提取算法得到了快速的发展。基于边界结构的特征提取算法可以很好地挖掘出数据中隐藏的具有鉴别性的鉴别信息,因此引起了科研人员的广泛的关注。本文探论了边界几何结构,设计了两种全新的边界形式,同时基于两类边界提出了两种全新的特征提取算法。另外,在本文也着重的讨论了数据的离群点问题,并给出了相应的处理方
学位
<正>本文从发包人视角就暂估价的设置及应用进行了归纳与总结,通过对暂估价设置问题的优劣势分析,指出了暂估价在招标、项目管理、结算阶段存在的主要问题,并提出减少暂估单价设置形式、合理设置专业暂估项、优化暂估价设置比例等可行性建议。
期刊
近年来,心血管疾病对我国居民生命健康构成了重大威胁。心律异常自动检测技术能够帮助及时诊断心血管疾病,具有显著的临床价值,是当前研究的热点。现有心律异常检测方法通常基于静态数据环境进行建模。然而实际生活中,心电图信号会受到患者身体、心理及运动状态等因素的影响而产生数据漂移。仅进行一次性学习获得的静态模型在遭遇数据漂移时,往往会因泛化能力恶化而导致检测性能下降。同时随着数据规模不断增大,传统监督学习方
学位
在控制理论研究领域,欠驱动系统是一类非常重要的控制对象,其最明显的特征是其控制输入的维度少于系统状态的维度,这一特征也造成其控制器设计难度有别于其他一般系统。因此,欠驱动系统稳定和跟踪控制的研究具有重要的理论和工程实践意义。本文主要考虑欠驱动系统的跟踪控制问题,将欠驱动系统视为一个组合系统,即其分别由直接受控子系统和间接受控子系统耦合而成。在一定条件下,本文着重关注了这两个子系统之间存在的某种相互
学位
数控机床伺服系统在现代化精密机械加工制造领域得到了广泛的应用,随着科技的发展进步和机械加工技术的不断改良迭代,对加工器件的质量要求也不断提高,对伺服系统的性能也提出了更高的要求。而伺服系统中存在的摩擦力扰动严重抑制了伺服系统性能,阻碍了伺服系统的发展。因此对系统中摩擦力扰动的补偿具有很强的研究价值和应用前景。本文针对精密永磁同步伺服系统中的摩擦力扰动,通过理论分析建模、仿真分析和实验验证等方法实现
学位
低秩张量补全(Low Rank Tensor Completion,LRTC)因其在计算机视觉、知识图谱补全、电力数据恢复等多个领域的应用而受到了广泛的关注。LRTC问题旨在从不完整的数据中预测或恢复缺失的数据,其中的关键在于寻求原始数据最优的低秩近似。传统的张量补全方法往往考虑的是张量展开矩阵的低秩性,这些方法破坏了原始张量的多路结构,最终会导致性能降低。因此,如何找到原始高维数据更为紧凑的低秩
学位