随着人工智能的快速发展,深度学习技术已经在各个领域中得到广泛应用,包括目标检测、机器翻译、语音识别等。随着研究的深入,将文本、图像和语音等多领域信息进行融合和交互的多模态任务已经引起研究者们的广泛兴趣。其中,视觉问答是多模态学习任务的研究热点之一。视觉问答系统的主要目标是根据图像内容和对应的问题以回答出正确的答案,需解决的问题涉及计算机视觉和自然语言处理等领域。现阶段对于视觉问答的图像表示常采用深度卷积神经网络进行提取,但在一些问题类型场景下,VQA（Visual Question Answering）模型会受到图像中其他冗余信息的干扰,从而降低整体视觉问答模型的性能。同时,在进行多模态交互时,随着注意力网络的深度加深,模型的性能也逐渐趋于饱和。此外,深度注意力网络中视觉特征与文本语义交互不充分,也会最终影响到模型对问题的理解和答案的预测。基于上述问题,本文以注意力机制和神经架构搜索两方面为基础,通过多模态特征融合的方式加强模型对复杂问题的推理能力,提高VQA任务的准确性。主要工作内容如下:（1）针对常规卷积神经网络提取的图像特征表示不足的问题,本文提出一种基于复合视觉语言的卷积网络（Composite Vision-linguistic Conv Net,CVl CN）来提取复合视觉语言下的图像特征。首先将图像特征和问题语义通过复合学习的方式融合成图文特征,然后从空间和通道上计算复合图文特征下的注意力分布,选择性地保留与问题语义相关的视觉信息。通过复合图文特征加强模型对图像的理解,整体视觉问答模型的建模过程简单,并在公共数据集VQA-v2上获得较高的准确率。（2）本文在（1）工作的基础上发现问题对视觉的重要影响和视觉对问题理解的缺失,进而针对图像和问题两种类型数据在模型中信息交互不足的问题,提出一种基于双线交互的神经架构搜索算法（Double Interaction Neural Architecture Search,DI-NAS）。首先定义一种多模态双线交互的搜索空间,由模态内的融合操作池和模态间的交互操作池构成,使得多模态特征能够有效地进行模态内特征融合和模态间特征交互。然后根据双线交互的搜索空间构建超网络,并采用one-shot搜索算法估计出每个搜索节点的候选操作。最后,将权重最高的候选操作作为最优的网络结构。通过实验进行网络架构的搜索优化,并通过定量和定性分析,验证了最优搜索架构的有效性且准确率有明显提升。