近年,随着待处理的数据的量级不断增加以及计算机在硬件计算能力上的突破,深度学习技术在此基础上蓬勃发展。图像语义描述是涉及到计算机视觉和自然语言处理的混合领域,其研究的价值在视障人员的辅助生活、图文转换、标题自动生成、以及机器智能化等方面都有体现。传统的基于模板和基于检索的方法都存在描述内容错误、描述句式单调、鲁棒性差等特点。结合机器翻译中的编码-解码结构以及深度神经网络的使用,使得图像语义描述任务相较于传统方法有了很大的提升,但是仍然存在着编码-解码过程不充分,解码过程中视觉信息丢失,细节信息关注不够以及模型训练目标和评价标准不统一等问题。针对以上问题,本文以基于深度学习的编码-解码结构作为基础,对图像语义描述算法模型进行了研究和探索,工作的主要内容和研究重点如下:1.针对输入的图像视觉信息在解码过程中丢失或者不能动态调整的问题,使用了引导解码网络来连接编码和解码部分,使得编码信息能在每一时刻指导解码,同时自动调整解码信息,实现了端到端的训练过程。为了使编码-解码过程的中对信息的提取和解析尽量充分,分别选用了稠密卷积网络(Dense Net)和多示例学习(MIL)的方法作为图像编码器,嵌套长短时记忆网络(NLSTM)作为解码器。通过实验表明,该初级模型性能优于部分流行模型。2.引入了注意力机制来对细节信息进行聚焦,构建了双层解码结构,使得模型在细节描述和语义丰富度上有了进一步的提高。同时,深度强化学习的模型结构和优化方法,通过直接优化同一套评价指标对模型进行训练,解决了训练和评价标准不一致的问题。最终在MS COCO和Flickr 30k数据集上对模型进行了训练和测试,结果显示模型在BLEU、METEOR、CIDEr等指标上相比于目前的流行模型都分别有了近0.02、0.03、0.08的提升。