21世纪以来,海量级视觉信息依靠解读数字图像获取。如何让机器快速准确地理解数字图像中的场景、动作并进行自然语言的整理和表述,是需要解决的问题。基于深度学习,本文设计出利用卷积神经网络结合递归自动编码器(Recursive Autoencoder)或者长短期记忆(LSTM)网络构建可以理解图像语义的网络模型。其中卷积神经网络-递归自动编码网络的网络结构在图像场景预测应用中具有可靠性。本文引入信息增益到模型中,用来度量潜在语义分布拟合图像特征分布近似程度,通过评测标准和对比实验验证了卷积神经网络和LSTM网络构成的两种神经网络模型在图像高层语义理解应用中具有可行性和可靠性。本文的主要工作展示如下:(1)设计了卷积神经网络和RAE编码器联合应用的网络模型,通过对比实验,验证了该模型可以在图像场景预测中具有可靠的性能,但是也论证了该模型在高层语义理解应用中的缺陷。(2)引入信息增益作为拉近图像和文本信息分布的损失函数,同时设计了具有双层LSTM网络的网络模型,并按照图像语义描述评估(SPICE)和图像场景预测精度(SGA)两种评测标准设计并完成对比实验,并且分析了对比实验的结果。(3)通过对(2)中的网络模型的改进,构建了分层转换模型的新型表征网络,从而拉近图像特征分布和潜在语义分布,模型使用最近似的潜在语义分布描述图像中语义,模型自动定位图像特征,并完成特征的选择,建立图文联合分布,用以预测图像的高层语义。(4)利用若干微调技巧,对(3)中的网络模型进行训练,并按照评测标准BLEU设计并完成对比实验,通过实验结果对模型进行客观的评估。