图像语义描述，顾名思义，就是希望计算机能够理解输入图片的语义，并且组织合适的语言将它描述出来。这一任务是计算机视觉与自然语言处理两个领域结合的交叉任务。对于人类而言，这并不困难，但是对于计算机而言，这无疑是一项非常具有挑战性的任务。在现实生活中，该研究在交互设计、视频标注等领域有非常大的应用价值。传统的研究方法，如基于模板，基于检索等方法，往往特别复杂，需要大量的人力与物力设计模板、提取特征，并且最终生成的描述语句句式死板，不够灵活。得益于近年来兴起的深度学习研究，神经网络能自动提取特征的能力重新被人们认识。基于神经网络的方法为该任务提供了新的思路。本文在总结前人的研究基础上，借助深度神经网络以及深度学习框架Keras，构造了一个基于Encoder-Decoder架构的图像语义描述模型。该模型成功地跨越了不同模态间的语义鸿沟，实现了从视觉到文本的模态转换。
　　本文的主要工作同模型的架构一样也分为两部分：在负责提取图像特征的编码器部分，本文采用卷积神经网络从图像中提取特征，并且设计了一套注意力策略，负责对这些特征进行筛选，使得蕴含语义信息最多的特征可以直接被解码器看到，从而使生成的描述文本用词更加准确；在负责文本生成的解码器部分，本文采用改进的LSTM网络进行文本生成。本文仿照残差网络中的残差连接的方式对传统的LSTM网络加以改进，使其在生成文本时可以看到全部的上文信息。改进的LSTM网络生成的文本语法更符合规范，更接近人类语言。
　　本文使用Python编程语言实现了上面提到的图像语义描述模型，并且在MSCOCO数据上进行了实验。通过设置不同的对照试验，验证了本文所做出的改进的有效性。本文也将该模型与目前主流的图像语义描述模型进行了对比，结果显示本文的模型表现总体尚可，在用词准确性以及语法的规范性上表现非常出色。