自动图像描述旨在生成自然语言来描述图像的内容,是计算机视觉和自然语言处理交叉研究的关键问题,也是人工智能和人机交互技术的重要组成部分,在客观化报告生成、多媒体信息处理、场景巡查与监控和智能人机交互等领域具有广阔的应用前景。在自动图像描述任务中,机器需要理解图像的视觉语义,挖掘图像中主要的语义概念（物体及其关系）,并将其转化为含有主要物体及其关系的文本描述。尽管近年来有不少关于自动图像描述的工作不断被提出,然而自动图像描述在视觉语义理解方面依旧是一个有待解决的问题。其主要难点在于从图像中提取明确的且准确的语义概念来引导文本描述的生成。为此,本文提出了一个视觉语义结构化建模方案,并针对基于单个图像的单个文本描述生成、基于多个图像的单个文本描述生成、基于单个图像的多个文本描述生成和基于多个图像的多个文本描述生成四种数据形式下的语义概念准确性问题,围绕视觉语义结构化建模分别从常规的自动图像描述、图像群组自动描述、差异化图像描述和超声图像诊断报告生成四个方面展开深入研究并提出相应的解决方法。具体研究内容和创新点包括:（1）提出了一个视觉语义结构化建模方案和一种基于视觉语义解析的自动图像描述方法。针对自动图像描述中语义精准性和语义关联性的两个关键问题,受场景感知研究的启发引入文本结构这一经验知识的引导,从常规思路出发构建了动态结构的视觉语义解析树模型并分析了其缺陷,对此设计出一个（简化的）视觉语义解析树模型用于挖掘图像中关键的物体并构建其关系结构。本文将视觉语义解析树模型整合到自动图像描述中,设计了一个结构化注意力模型将结构化视觉语义特征嵌入到解码器中来引导解码器生成准确的文本描述。本文将视觉语义解析树模型与解码器进行联合优化并验证了视觉语义解析树模型在自动图像描述任务中的有效性与性能优势。（2）提出了一种基于视觉语义结构相关性和差异性建模的图像群组自动描述方法。探索了在图像群组中,即在由语义相关的多个图像所构成的集合（如相册）中进行自动图像描述的全新问题（简称图像群组自动描述）。针对图像群组中图像间语义相关性和语义差异性的问题,提出了一个视觉语义结构相关性和差异性约束方法,对视觉语义解析树模型的构建进行语义约束来提升视觉语义解析树的准确性和判别性,进而提升生成的文本描述的准确性和判别性。本文提出了两个图像群组自动描述数据集并验证了语义约束的视觉语义解析树模型在图像群组自动描述任务中的有效性与性能优势。（3）提出了一种基于变分结构化视觉语义推理的差异化图像描述方法。针对差异化描述中被忽视的词汇差异性和句法差异性两个关键因素,提出了一个由视觉语义解析树引导的变分多模态推理树模型,推断图像语义中词汇的差异变量和句法的差异变量,通过对两个关键因素的显式建模提升生成的文本描述的差异性。为了将词汇和句法的差异变量嵌入到编码器-解码器框架中生成差异化文本描述,提出了一个结构化编码器-推理器-解码器框架联合优化变分多模态推理树模型和解码器。实验验证了变分多模态推理树模型在图像描述生成的准确性和差异性上都具有明显的性能优势。（4）提出了一种基于视觉语义序列化结构化建模的超声图像诊断报告生成方法。率先探索了自动图像描述在超声图像诊断报告生成中的应用,针对超声图像的语义呈现多视角序列化关联和多主题结构化关联的特性,提出了一个序列化视觉解析图模型准确地挖掘多视角超声图像中多主题的语义概念（病症类别）。针对多主题诊断描述输出的问题,提出了一个主题导向的诊断描述生成模型来生成主题相关的诊断描述。同时构建了首个用于超声图像诊断报告生成任务的心血管超声图像数据集并验证了视觉语义序列化结构化建模方法在诊断报告生成上的有效性和性能优势。