自然语言处理由于其巨大的应用潜力,引起了来自不同领域研究人员的广泛关注。文本表示:即如何有效地表示词、句子或文档以刻画它们的语义信息是当今自然语言处理领域的核心问题之一。针对不同的应用目的,如句子关系推理、文本分类、情感预测、实体及关系识别等,已有各种文本表示策略。然而,我们发现:(1)双向LSTM网络作为目前最受欢迎的文本表示网络,忽视了每个词向量以及每个方向的文本向量对于整体文本表示的贡献度,影响了最终的编码结果。(2)目前的多任务联合训练文本表示模型没有考虑到同一任务下的不同数据集的联合训练对文本表示模型的影响,忽略了同一任务中不同数据集联合训练可能会带来的数据增强效果。针对以上问题,本文主要研究工作如下:(1)提出了基于方向注意力机制的句子表示模型。我们在传统双向LSTM网络内部,加入了词注意力层和自适应方向权重层,用于学习每个单词向量以及每个方向的文本向量对于整体文本表示的贡献度,对每个单词向量以及文本向量进行贡献度加权,从而提升文本表示模型的编码能力。将此模型应用于句子表示学习中,基于ESIM模型提出了a ESIM模型用于处理自然语言推理任务。实验结果表明,a ESIM模型性能要优于原始模型,同时证明了基于方向注意力机制的双向LSTM网络的性能要优于传统的双向LSTM网络。(2)提出了基于方向注意力机制的文档表示模型。我们使用了基于方向注意力机制的双向LSTM网络,构建了基于方向注意力机制的文本分类模型,其结果要优于常见的文本分类模型。我们通过多组消融实验证明,用于文档表示学习的多个网络组件对文档表示学习能力有提升作用。(3)提出了同源数据集联合训练多任务学习方案。我们根据不同文本数据集的语义相似性对同一任务下的不同数据集进行分类,提出了同源数据集与非同源数据集的概念,并使用多任务学习框架对文本表示模型进行联合训练。实验结果表明,基于同源数据集联合训练的文本表示模型相对于单个数据集训练的文本表示模型来说,其性能更加优良。但是对于非同源数据集联合训练得到的文本表示模型来说,性能并未得到提升。