多模态学习旨在利用不同模态数据之间的隐含的关联性实现对多模态语义的协同理解能力,从而实现对复杂环境和任务的更好的理解。随着人工智能技术的发展,多模态学习的研究日益重要。目前多模态学习的主流方式是通过“预训练-微调”的方式在一个大框架下解决多种多模态任务的通用多模态学习。图像数据和文本数据是最常见的两种类型的数据,本文所研究的通用多模态学习方法将聚焦于“图像-文本”的多模态场景,包括视觉问答、视觉目标定位、图文检索三个典型的多模态学习任务。目前通用多模态学习方法主要依靠多模态预训练来实现,这些方法在预训练阶段和微调训练阶段面临着不同的挑战。在预训练阶段,多模态模型需要学习跨模态的语义关联,同时尽可能地学习细粒度的语义对齐,目前大多数方法只能进行粗粒度的语义对齐学习;在微调训练阶段,由于数据量的锐减,多模态模型在该阶段面临着更大的过拟合风险,一些工作尝试将对抗式训练的方式引入到该阶段增强模型的泛化性与稳健性,但同时也增加了许多时间开销。针对上述问题,本文的研究主要形成以下两种方法:1、为了解决通用多模态模型在预训练阶段需要进行细粒度语义对齐学习的问题,本文提出基于对抗式掩码学习的通用多模态预训练方法LTM。该方法提出了一个对抗式掩码生成网络,并与多模态预训练模型在一个对抗式训练的框架下进行训练。对抗式掩码生成网络会倾向于将文本中与图像相关的词或图像中与文本相关的区域选为掩码,这样的掩码方案对于多模态模型学习跨模态的细粒度语义对齐有很强的针对性。最终的实验结果证明了这种显式增强跨模态细粒度语义对齐方法的有效性。2、针对通用多模态模型在微调训练阶段容易过拟合的问题,本文提出基于对抗式特征扰动的快速通用多模态微调训练方法MAP。该方法同样在对抗式训练的框架下进行,并依靠一个对抗式扰动生成模块在输入数据的特征层面施加对抗扰动。与现有的基于对抗式训练的多模态模型不同,该方法使用一个可学习的对抗式扰动生成模块根据多模态网络的输出自动地生成对抗式扰动。在训练中,该方法还使用了一种快速训练方式,极大地减小了对抗式训练所带来的时间开销。最终,在三个多模态任务上的实验结果验证了这种对抗式特征扰动方法的有效性和通用性。