世界是多模态的,人类所获得的信息往往同时包含文本、图像、声音等各类型的模态。而当前人工智能发展迅速,在自然语言处理、计算机视觉和语音识别各自领域中都有重大突破,但这种单一领域的突破仍然与真实世界有着明显不同。为了构建能够真正理解人类世界的人工智能,它需要有对多模态数据识别与相应的能力。而一般的视觉问答与视觉推理等跨模态任务已有许多出色的模型与方法。本文聚焦于具有挑战的智能体自主导航任务,同时也称为视觉-语言-导航任务（Vision-Language-Naigation,VLN）。它要求智能体在一个真实拍摄的环境中,根据给定的一段自然语言指令,譬如“向前穿过卧室并走到走廊上,沿着楼梯扶手走下楼并穿过开着的门,停在墙壁有圆镜的卧室里。”,使智能体能够结合周围视觉观测状态一步一步地自主移动到终点,不仅要求最终目的地正确且要贴合指令进行自主移动。受BERT等预训练模型的启发,本文不同与以往基于LSTM结合注意力机制的传统方法,本模型采用基于Transformer的纯注意力机制的预训练模型,采用了能够融合跨模态信息的跨模态注意力机制。本文设计了包含视觉、语言、跨模态三类预训练任务进行预训练,其中语言预训练则是采用根据场景图中的结构化知识的三项预训练任务,重点学习物体、物体特征、物体间关系三类知识,能够使模型具有更好的细粒度跨模态语义表征与对齐的能力。其次,由于自主导航与一般的跨模态任务例如视觉问答、视觉推理等静态任务不同,自主导航是动态多轮的部分可观测得马尔科夫决策过程,因此在预训练阶段之后,设计了一种循环机制与状态表征方法,使模型更好地适用于自主导航任务。最后,由于预训练模型的巨大参数量,本文于提出了通过知识蒸馏的方法大幅减少了模型参数量和前向推理时间提升了模型效率,使模型更适用于实际生活实用中。本文通过嵌入层蒸馏、注意力层蒸馏、前馈层蒸馏以及预测层蒸馏四部分使较小的学生模型模仿学习到较大的教师模型的行为,进行了知识迁移。为了验证上述方法与改进的可行性,本文设计了相关实验验证各部分的效果,实验数据表明所设计的预训练任务有助于跨模态语义表征与对齐能力的提升,循环机制的训练方式相较于前人的方式更适合于自主导航,知识蒸馏提升了模型运行效率。