篇章级的图文问答是一个新兴的交叉领域课题。该课题综合了纯文本问答和视觉问答两个任务,要求智能系统根据提供的图像和长文本来回答问题。比起纯文本问答和视觉问答,篇章级的图文问答更接近人类回答问题的场景:结合视觉信息和已有知识来综合思考答案。因此这一课题在增强机器的理解能力上具有更好的发展前景。但是,这一新兴的课题也带来了新的挑战。一方面,纯文本问答任务中,给出的背景知识文本大多数只有段落级的长度,因此很难直接利用现有方法来从长文本中提取特征;另一方面,视觉问答任务要求处理的文本也很短小,现有的多模态融合方法也难以处理长文本的特征。针对篇章级图文问答的特点和难点,基于纯文本问答和视觉问答两个领域已有的方法,本文提出了一个多层次的解决方案。本文的主要研究内容分为如下几个方面:1.提出“基于词嵌入记录篇章信息的图文问答系统”,利用词嵌入空间的冗余性来解决长文本的问题。该方法从篇章中提取出关键词,并将篇章的重要特征嵌入到这些关键词的表示空间中。由于没有引入新的大规模结构,该方法基于现有视觉问答框架解决多模态融合问题。2.提出“基于联合优化下网络嵌入方法的图文问答系统”,解决关键词与非关键词嵌入空间不一致的问题。该方法通过引入具有较高迁移性的网络嵌入方法,来缓和两个嵌入空间的差距。该方法还使用联合优化策略来消除网络嵌入容易陷入局部最优的问题。3.提出“基于矛盾实体-关系图的图文问答显式推理系统”,使用离散结构来表示图文信息。该方法针对已有的符号化方法局部处理能力强、但提取的特征不易传播的问题,利用矛盾语义易传播的特点在图文间进行显式特征的比较与推理。4.提出“矛盾语义指导下的多模态记忆网络”,针对符号化的方法与深度神经网络各自的优缺点,利用记忆网络和注意力机制来对两种方法进行融合和相互补充。本文的研究内容形成了对篇章级的图文问答课题的初探。本文相关成果具备一定的理论意义,并对篇章级图文问答这一新兴交叉领域未来的发展具有参考价值。