机器学习是人工智能领域中非常重要的基础理论和技术方法,近些年受到了空前的关注,目前已经在计算机图像处理、生物安防、智能医疗、语音识别、自然语言处理、智能驾驶、化学等多个领域的应用中发挥着越来越重要的作用。分类是机器学习中最基础、最重要的研究问题之一,其目的是通过构建一个分类器,对于任意输入的数据,能尽可能正确地预测其所属的类别。根据分类器训练过程中是否存在已知的类别标签信息,机器学习的分类方法可以具体分为监督分类、非监督分类和半监督分类三种类型,由于监督分类方法能利用样本和对应的类别标签信息进行学习,通常能获得较好的分类结果,目前的很多研究都是基于监督的分类方法。传统的监督分类方法主要在单一领域的目标数据集中进行模型的训练和测试,随着数据获取技术的持续发展,越来越多的相关工作开始探索使用多种辅助信息数据来解决目标数据集的分类问题,但这些方法通常要求在模型训练过程和测试过程中都能获得相应的辅助数据。然而,在实际情况中,我们可以很容易的在模型训练阶段人为地获取所需的辅助信息数据,但在测试过程中辅助信息的获取往往比较困难,目前这个问题是机器学习领域中的一个前沿研究课题,正受到越来越多学者的关注。目前解决该问题的相关研究工作中,迁移学习和利用特权信息学习是两类代表性方法。本文聚焦于迁移学习和利用特权信息学习理论,针对不同类型的辅助信息,开展了一系列算法研究工作,本文的主要研究内容包括:1)对利用辅助信息学习方法的研究现状进行了系统的总结和归纳,具体从传统的机器学习、迁移学习和利用特权信息学习三个方面介绍了涉及到的相关理论知识和方法原理。2)针对与目标数据特征表示具有相似性的辅助信息数据,本文提出了一种基于稀疏子空间关联分析的迁移学习分类方法框架,学习源领域和目标领域的转换矩阵将数据投影到一个公共的子空间中,基于不同领域数据的自表达特性构建字典,并学习不同领域数据在公共子空间中的稀疏表示,为了减小不同领域数据之间的差异,引入一个正则化项约束投影后的不同领域数据间的特征表示。此外,根据目标领域和源领域数据的新特征表示,构造一个适用于新特征的分类器。3)针对与目标数据配对的单一来源辅助信息数据,本文提出了一种基于迭代特权信息学习的梯度提升决策树方法,在梯度提升决策树训练过程中,利用从辅助信息中学到的线性函数来指导决策树模型的学习,随着不断将单棵树集成到现有模型中,从辅助信息中学到的知识也被同步更新,提出的方法将新决策树的学习和辅助函数的学习整合到一个统一的目标函数中,从而将预测模型的更新与特权信息的利用紧密地联系在一起。在此基础上,本文进一步提出了一种基于稀疏表达的迭代特权信息学习的梯度提升决策树方法,建立以往迭代中学到的投影向量与当前迭代中学习的线性辅助函数之间的关系。4)针对与目标数据配对的多源辅助信息数据,本文提出了一种基于多源特权信息的多核支持向量机方法。本文首先在单一特权信息的支持向量机方法的基础上提出了一种多核支持向量机方法,该方法利用多个不同基核学习多种核函数组成的自适应核矩阵,其中每个基核的权重系数在数据空间中并不是固定不变的,而是适应于样本局部数据。在此基础上,进一步提出了基于多源特权信息的多核支持向量机方法,利用多种特权信息学习模型的松弛变量,构造分类模型。