随着人工智能的重新崛起,许多之前难以完成的任务被提及,而视觉问答（Visual Question Answering,VQA）便是其中之一。VQA结合了自然语言处理和计算机视觉两个大的研究方向,以图像特征和问题文本特征这两种模态作为输入,而后融合、交互,最后得出该图像相关的问题答案,在现实生活中有着重要的研究意义。而在医疗方面,对于一些先验知识的问题,就算是经验丰富的医生也需要借助一些计算机系统来辅助确认患者的具体病情。另外,借助这些系统,患者也能更加方便的了解自己的真实情况,因此医疗视觉问答技术应运而生。本文在医疗视觉问答技术上展开了研究,在文本和图像的特征提取,模态间的有效交互和融合,以及弥补多模态间处理的不足等几个方面做了深入的研究,并基于实验数据对模型进行了创新和改进,研究内容如下:对于医疗视觉问答任务,本文先从传统处理方向入手,即多模态特征的有效提取和多模态之间的有效融合和交互展开研究,经过多组实验对比分析,本文采用了VGG16模型对图像进行特征提取,在问题特征处理方面采用了Bio BERT,在融合时用了目前效果最好的多模态因数化高阶池化来实现,而在交互时则是采用了协同注意力机制。然后开始转变思路,从与多模态分支互补的角度考虑,由于多模态之间的差异性以及融合交互时的特征损失和干扰性,本文从数据集特征分析,首先根据数据难易度,参考了课程学习思想、Des Net技术,以Mixup数据增强和全局平均池化等技术设计一个单模态分支与多模态分支的模型形成特征互补,最后利用集成的方式实现性能提升。其次则是从数据集中类别分布的极大不平衡性入手,通过改进后的统一的双边分支网络模型,配合交叉验证以及增强模型泛化等方法,提升了最后的预测准确率。对于以上实验模型,本文选择在Image CLEF2021 VQA-Med和VQA-Rad两个常用的VQA医疗数据集上进行实验。最后的实验结果表明本文提出的模型在Image CLEF2021 VQA-Med和VQA-Rad数据集上都获得了不错的结果。其中,在Image CLEF2021 VQA-Med数据集上取得了69.8%的精度,在VQA-Rad数据集上取得了72.9%的精度,证明了本文提出的方法在医疗VQA任务上的有效性。