身处于大数据时代中,图像描述生成算法研究对信息的检索筛选具有重要意义。图像描述生成系统是一个跨视觉域和语言域的多模态系统,是由视觉目标识别定位、视觉目标区域与语义之间的匹配和自然语言生成三个模块组成。具体流程为,首先通过卷积神经网络提取图像的视觉特征表示图,基于特征图的信息进行目标识别定位。然后将定位后的视觉区域与词典中的语义词之间进行一致性匹配,得到视觉-语义一致的语义词集合。最后利用记忆等序列生成网络集成这些语义词为一个自然句子。系统中主要阶段性功能的实现分别基于图像的目标区域定位、视觉-语义对齐和自然语言生成算法。在算法落地阶段,常常会面临复杂场景的考验。当场景中出现较多实体和动作时,随之包含的语义信息也更加丰富,从而导致系统易混淆语义的主次和关联关系。场景的视觉域和语言域的一致性匹配算法会因两个域的知识形态的差异化,而导致匹配结果不理想。在自然语言生成阶段所集成的多模态特征的筛选和过滤算法难以权衡各个模态特征的重要性,影响其描述生成的质量。综上所述,当前的图像描述算法还无法在复杂场景和多模态域中取得好的效果。针对复杂场景的语义主次和关联性混淆的问题,本文提出了一种语义关联图模块（Semantic Association Graph Module,SAGM）。SAGM能够充分挖掘语义知识拓扑图中的上下文逻辑和关联关系,以语义间的邻接关系为基础逐步扩展成完整的自然语句,即语义信息关联构建算法。此外,为了让SAGM不仅仅考虑到两两语义间的关系,还要能在当前语义词与长时距离的语义词间构建起联系,本文提出了对应的基于视觉表示的记忆增强结构（Memory Enhancement Structure based on Visual Representation,MESVR）接连至SAGM后。针对描述生成任务,在数据集MSVD上对现有网络添加入SAGM进行实验,实验结果表明BLEU@4,METEOR,ROUGE-L均分别增长1%-2%。针对视觉域和语言域跨模态的一致性匹配问题,本文提出了一种视觉-语言一致性结构（Visual-linguistic Consistency Structure,V-l CS）。V-l CS可通过门结构建立起分块的视觉特征图与语义词之间的对应性关系,再经过视觉-语义匹配损失函数（Visual-semantic Matching Loss,VML）进行网络优化,尽可能将两个域的知识嵌入同一个知识表示空间中。为了增强同一表示空间中不同域之间的灵敏度和匹配度,本文提出了三角注意力机制（Triangle Attention Mechanism,TAM）接连至V-l CS之后。针对医学报告生成任务,在数据集IU X-Ray上对现有网络添加入V-l CS进行实验。与现有最先进的方法比较而言,其BLEU@1,BLEU@2,BLEU@3,BLEU@4,ROUGE-L和CIDEr指标分别为48.7%,34.6%,27.0%,20.8%,35.9%和45.2%,均达到了目前最好的效果。针对多模态特征的筛选和过滤问题,本文提出了一种多模态注意约束模型（Multimodal Attention Constraint Model,MACM）。MACM通过将注意力机制嵌入长短时记忆网络（Long Short-term Memory,LSTM）中,动态加权和对齐语义模态的属性与局部视觉模态的特征,再结合全局视觉模态与词嵌入向量一起传入LSTM的每个时间步的隐藏状态中。最后,依据LSTM的门结构特性去动态筛选重要特征并过滤冗余特征。针对视频描述生成任务,在数据集MSR-VTT上对现有网络添加入MACM进行实验,实验结果表明BLEU@4,METEOR,ROUGE-L均分别增长约2%,超越了目前最好的效果。