文本语义匹配是自然语言处理中一个基础且重要的研究方向,其目的是判断两段文本是否符合给定的语义关系,其包含了大量的下游任务,如自然语言推理、复述识别、答案句选择等等。任务不同,文本语义匹配所需判断的语义关系也不一致。然而无论哪一种语义关系,判断文本间语义是否匹配都需要研究:（1）如何表示文本语义?（2）如何判断文本间语义关系?针对这两个核心研究点,研究者们将文本语义匹配研究分为基于表示和基于交互的文本语义匹配研究。前者主要研究如何设计更好的文本编码器来表示文本,而后者则更注重于研究判断文本间语义关系的方法。本文将利用文本结构特征对基于表示的文本语义匹配展开研究,并利用多层交互匹配过程中产生的历史信息对基于交互的文本语义匹配进行探索。此外,针对非纯文本格式的异构文档（如PDF、网页、扫描文档等等）,现有自然语言处理应用如开放域问答系统通常需要预先根据不同的文档格式设计不同的内容抽取算法,再从中抽取文本内容进行后续的分析处理。这无疑需要消耗大量的人力物力,而且损失了原始文档中有价值的布局和视觉信息。为此,本文从视觉角度通过文档图像描述异构文档,对文本和文档图像间的跨模态文本语义匹配及其在问答领域的应用展开研究。具体来说,本文的主要研究内容包括以下四个方面:1.基于文本线性结构表示的文本语义匹配研究。在基于表示的文本语义匹配研究中,现有研究通常会用自注意力网络取代卷积神经网络和循环神经网络来构建表示能力和可并行化能力更强的文本编码器。然而,由于自注意力机制的位置独立性,自注意力网络难以利用文本的位置结构特征去捕获文本内的语义依赖。本文分析了文本线性结构,利用词的绝对位置、词间相对距离和词序三种结构特征对其描述。在此基础上,本文提出基于双向线性位置感知的Transformer,通过绝对位置可感的相对位置编码和双向掩码策略将上述三种结构特征有机地融合在一起,共同建模文本线性结构,并利用文本线性结构更精准地建模文本顺序、文本内的关键信息以及局部语义依赖信息。在自然语言推理和复述识别两个文本语义匹配任务上的实验验证了该方法的有效性。2.基于文本混合结构表示的文本语义匹配研究。文本结构特征多种多样,不同结构特征间相辅相成,仅从单一角度无法全面地建模文本结构。为了同时从不同角度建模文本结构,本文利用多头注意力机制的多视角建模优势,提出了多掩码式多头注意力机制,并在此基础上提出了混合结构特征引导的Transformer,将词序、词相对距离和词依存距离同时引入到Transformer中。在多种结构特征的帮助下,该模型可以同时建模文本的线性结构和语义依存结构,更好地捕获文本内局部和非局部语义依赖。在自然语言推理和复述识别中的实验结果表明,该方法与只利用文本线性结构的基于双向线性位置感知的Transformer模型相比有了进一步的提升。3.基于多层网络交互历史的文本语义匹配研究。在基于交互的文本语义匹配研究中,现有研究通常会利用多层交互匹配更好地判断文本间的语义关系。在此过程中,前序匹配产生的历史表示信息和历史交互信息都会对后序匹配起到指引的作用。然而现有研究往往只能传递并利用其中一种信息,无法很好地利用所有的历史信息。为了更好地传递并利用这两类历史信息,本文提出了全信息传递网络。该网络使用一种新颖的原始-平均混合链接模式更高效地传递表示信息,并使用基于记忆的注意力机制利用全局交互矩阵保存并传递交互信息。在自然语言推理和复述识别中的实验结果表明,在资源受限的情况下该方法要优于其他非预训练模型和同等规模的预训练模型。4.基于布局结构的跨模态文本语义匹配研究。针对广泛存在的非纯文本格式异构文档,本文从文本语义匹配研究延伸到面向文本和文档图像间的跨模态文本语义匹配研究。在文本语义匹配被广泛应用的开放域问答中,现有系统需要针对不同格式的异构文档设计特定的内容抽取算法预先抽取文本内容作为其信息来源。这不仅大幅度增加了可规模化开放域问答系统的构建成本,而且损失了原始文档中的布局和视觉信息。为此,本文提出开放域文档视觉问答任务,以异构文档的文档图像集合为信息源回答用户提问。同时,本文融合前面所有的研究内容对面向文本和文档图像间的跨模态文本语义匹配展开研究,提出了联合布局结构及文本线性结构的全信息传递网络,并将其应用于开放域文档视觉问答任务中的精排阶段,对问题和检索返回的候选文档图像进行匹配。在本文提出的首个中文开放域文档视觉问答数据集上的实验验证了模型的有效性。