文本序列标注是知识图谱、问答系统等下游自然语言应用任务的基础。传统的文本序列标注使用单任务学习方式,但数据量少时这种学习方式难以学习到正确的潜层信息分布。为了解决单任务学习存在问题,迁移学习应用到文本序列标注任务并取得了较好的效果。一般,文本序列的迁移可以分为跨任务迁移和跨领域迁移。本文主要以跨任务迁移作为研究重点,跨任务迁移学习相比单任务融合了任务间的共享信息,可以利用任务间联系提高学习数据分布特征的效果,更接近人脑认知过程。当前跨任务迁移学习过程可以划分为:1.任务信息获取、2.任务间信息融合。在模型提取任务信息阶段,发现当前跨任务迁移方法中未充分学习句中要素与要素关系的问题。之后,任务信息进行融合阶段,发现存在平等融合任务间关系加重任务间负迁移影响的问题。针对以上两个阶段存在的问题,本文从文本表示和任务间关系表示为切入点,主要内容有:1.针对文本表示的研究。近年来,为了缓解相关任务潜在特征相互制约的问题,提出多任务学习融合到序列标注中。多任务学习利用多个任务的潜层信息提升模型泛化能力并达到了关联特征提取的目的,但是忽略了文本序列间提供的重要信息。为了利用文本序列间的重要信息和关系,提出了一种构建要素与要素关系的多任务序列标注模型。该模型使用要素关系构建模块提取要素关系,更好地利用了语义表示和关系,并在公开数据集上验证取得了不错的效果。2.针对任务间关系的研究。多任务文本序列标注使用多任务学习方法提高文本标注效果,在自然语言处理中有广泛的应用。但现有方法普遍使用硬共享机制,存在未充分利用任务间关系以及缺少控制任务间负迁移的问题。为此提出一种基于迁移学习的多任务文本序列标注模型,该模型首先利用任务关系表示模块获取任务间潜层空间关系的抽象表示,然后构建基于特定任务特征融合模块实现过滤负影响信息和保留有利信息,然后进行信息融合以达到更好地抑制任务间负迁移的目的,进而提高模型的泛化能力。实验表明,该模型在数据集上的五个任务上超过业界前沿方法。综上所述,在本文提出的基于迁移学习的文本表示以及利用迁移学习的任务间关系融合到多任务表示中取得了较好的效果,并且在实验上证明了所提出理论方法的有效性。