文档表示和双语词嵌入是自然语言处理中两个重要的文本表示学习技术,它们为其它自然语言处理任务提供了良好的特征表示。这两个方向是本文的主要研究内容。文档表示将文档表示成一个固定长度的向量,现有的工作简单地认为文档是一个文本序列,没有考虑文档中的层级关系,另一方面也忽视了文档不同部分有不同重要性。本文提出一个基于层级注意力机制的文档表示模型(HADR),同时考虑了文档中句子的差异性和句子中词的差异性两方面因素。实验结果表明,在考虑了词重要性和句子重要性差异之后,得到文档表示具有更好的性能。并且HADR模型在文档的情感分类上效果高于Doc2vec和word2vec模型。由于表示学习在单语上的成功应用,一些方法因为跨语言自然语言处理任务的需求开始研究跨语言的本文表示,构建双语词嵌入模型。双语词嵌入既可以在共享的向量空间中表示不同的语言,又可以进行跨语言知识转移。为了学习这样的表示,大多数现有工作需要具有词对齐的平行句子,并假定对齐的词具有相似的词袋(BoW)上下文。但是,由于不同语言的语法结构存在差异,不同语言对齐词的上下文可能出现在句子的不同位置。为了解决不同语言中不同语法的问题,我们提出了一种双语词嵌入模型(DepBiWE),通过生成依赖分析树得到语法依赖关系,该分析树可以找到对齐词上下文的准确相对位置。此外,本文还提出了一种新的方法,用于从基于依赖的上下文和词袋上下文中同时学习双语词嵌入。在真实数据集的实验结果验证了本文提出的DepBiWE模型对各种自然语言处理任务的有效提升。