在机器学习中,经常会遇到对几个相关联的任务建立机器学习模型的情况,比如关于人脸的识别、人脸表情的判断、人年龄的预测等。这些任务本质上都是对人脸数据进行建模,但是传统的机器学习往往通过单任务学习的方法进行训练,针对每个任务单独学习一个模型。这种单任务学习的方法忽略了多个任务之间的联系,损失了一些存在于数据或者模型参数之间的信息。特别是在单任务本身数据量不足的情况下,单任务学习很难通过训练得到足够的数据分布信息,因此学习效果会有不同程度的下降。多任务学习的提出就是为了解决单任务学习的这种弊端,通过进行合理的假设,充分挖掘任务之间的关系,从而为每一个任务提供额外的训练信息,最终提高每个任务的表现。本论文主要针对多任务学习的情况,对不同场景下的多任务学习方法进行研究,希望通过多任务学习的方法提高每个任务的学习效果。目前已有的多任务学习方法大致可以分为三类:基于特征分享的多任务学习方法、基于模型参数分享的多任务学习方法、基于深度学习的多任务学习方法。相比于单任务学习方法,这些多任务学习方法的效果已经在多个数据集上得到了验证。但是已有的方法也存在缺陷,主要包含以下几个方面(1)多任务学习需要同时使用多个任务的数据,效率上受到限制,求解复杂度高。(2)只考虑特征之间的关系或者模型之间的关系,没有将二者进行结合,从而导致任务之间的关系不够紧密。(3)线性多任务学习方法拓展到非线性核空间复杂度高,不易求解。(4)现有方法只考虑了当前任务的性能,学习到的模型很难迁移到将来某个相关的任务中。该论文针对现有方法存在的问题,分别设计新的多任务学习算法,从而改善现有方法的缺点。主要可以分为四个部分:基于近似支持向量机的多任务学习方法、基于特征分享与模型参数分享的多任务学习方法,基于特征函数的多任务学习方法以及多任务学习的拓展。其中基于近似支持向量机的多任务学习方法,旨在提高多任务学习的效率,降低多任务学习的复杂度。该方法能够对多任务学习目标函数进行显式的求解,求解过程中本文对矩阵的相关运算进行优化,减少了训练样本增多带来的训练效率下降的问题。最终该方法的运行时间在多个数据集上能有一个量级的提高,并且能够保证多任务学习的效果。针对多任务学习信息利用不完全的问题,本文提出基于特征分享与模型参数分享相结合的多任务学习方法。该方法同时衡量特征之间与模型参数之间的关系,避免了任务之间关系挖掘不充分的缺点,在多个数据集上的表现都比分别基于特征分享或者模型参数分享的多任务模型要好。在该方法中,本文提出并证明了将非凸目标函数转化为等价凸优化问题的可行性,并给出了最优解,降低了求解的复杂度。最后,本文给出了泛化误差的理论分析,从理论上证明了该方法的优越性。为了实现线性多任务学习模型能够简单的拓展到非线性核空间,该论文提出了基于特征函数的多任务学习方法,该方法实现简单并且有着良好的实验表现。基于特征函数的多任务学习思想也是本文提出的全新的研究多任务学习的思路,为后面多任务学习的研究提供了新方法。该方法也在实验和理论两方面上证明了其有效性。除了上述严格意义上的多任务学习方法,本文还研究了多任务学习的两个拓展问题。首先提出了基于神经网络将分类任务与特征学习任务相结合的学习方法,使得分类与特征学习之间互相促进。其次,为了解决多任务学习模型难以拓展到将来的相关任务上的问题,本文提出了基于域自适应的多任务学习方法,通过域自适应学习,能够学习到不同任务共有的特征,从而将模型很好的迁移到将来的某个关联任务上。本论文的贡献及创新点大致可以总结如下:·该论文针对现有方法的不同缺点提出了多个多任务学习算法,改善了现有方法效率低、任务之间关系衡量不充分、难以拓展到非线性核空间等问题。·该论文不仅在实验上证明了本文提出方法的有效性,并且给出了理论证明,对提出方法的有效性给出了合理的数学解释及分析。·该论文提出的基于特征函数的多任务学习方法从一个全新的角度去衡量任务之间的关系,为后面多任务学习的研究提供了新思路。·该论文对多任务学习进行了拓展,提出了将不同目标的任务联合学习以及如何对将来的任务进行高效的学习。