语言模型是自然语言处理（NLP）中解决任务的常用模型,利用对自然语言的建模来明确词汇之间的概率关系,从而生成适用于多种NLP任务的词嵌入矩阵。现如今,预训练技术被证明能极大的提升语言模型的性能,经过预训练的模型能显著提升处理任务的能力。现今,大部分计算机视觉（CV）和NLP领域的模型以及视觉-语义联合领域（Vision-Language）的模型都使用了预训练加微调的形式,从而使得模型对不同的任务都能快速收敛。然而,现有的预训练方法存在着以下几个问题:（1）模型只能处理单一场景的问题,或只能处理单模态任务场景,亦或着只能处理多模态任务场景,缺少通用的预训练模型以解决不同场景下的任务。应用于不同场景的模型只能做单一场景的任务,这意味着对于不同场景的任务,需要使用不同的模型,并且需要分别做预训练。然而模型的预训练需要花费大量的计算资源和时间成本。（2）处理单模场景的模型的编码方式存在局限性,现如今常用的预训练方法为:使用单模或多模的数据对模型进行预训练,利用Transformer的自注意力机制对输入文本的每个词通过上下文进行编码。该方法仅使用了语言的统计规律进行编码,缺少了具像化的编码信息。如,如果编码中添加了图像信息,那么拥有相应视觉特征的词汇的编码形式可以是根据像素编码,这不仅有助于区将名词区分出来（有视觉特征的词大多为名词）,而且能将拥有相似视觉特征的词汇聚类。这样的编码方式中,在不增加空间成本（即维度）的前提下,每个词将带有更多的特征信息,更有助于处理各类语言任务。基于以上两个问题,本文分别有针对性的实现了以下改进:（1）基于第一个问题,本文设计了一套通用的方法,使用以Transformer为核心的多模态模型通过同时训练多个场景的任务的方式,以达到既能处理单模任务,又能处理多模任务的效果。并且该模型在单模的主流评测集GLUE中多项任务指标高于BERT,在多模态的多个任务中性能与当前一流模型相当,如UNITER、VL-BERT,并且仅预训练一个通用的预训练模型就能应用解决解决不同情景下不同模态的任务。（2）基于第二个问题,本文在常用的上下文编码的基础上,额外使用了图像特征进行编码。输入文本通过多层Transformer的编码器进行编码后,使用掩盖文本预测图像特征的方式,让编码贴近图像特征表达,从而让词汇的编码带有图像特征。该模型在GLUE评测集上多个任务的表现效果优于BERT。