近年来,以M-RNN为代表的网络结构在Image Captioning领域的应用表现出不错的效果。在使用神经网络模型实现该任务的过程中,从编码器的图像特征提取到解码器中选择关注图像信息还是文本信息从而产生文本描述,这一系列的算法都将影响模型的性能。在以往使用深度学习模型的研究中,有的研究者使用深层的卷积神经网络以及多层的双向的长短期记忆网络构建模型,也有的尝试在图像空间特征上施加注意力机制,但无论哪种都没有明确关注抽象概念的预测。本文以multi-model形式构建深度学习网络架构实现Image Captioning任务,通过Encoder-Decoder框架,使用不同的CNN提取图像特征,使用预训练的Glove作为词嵌入结合LSTM,在编码器中加入改进的注意力机制作为最终网络结构。在测试集上的预测,使用了Beam Search确认最终预测得到图片描述文本,并使用BLEU,METEOR和CIDEr三个指标评价模型性能。我们的模型能在产生图像描述的每个时间步动态处理来自视觉和非视觉的信息,因此能对抽象概念产生较好的预测。这也是本文的特色所在,即:在decoder部分,模型能自动选择是否利用视觉信息还是语言模型,从而产生质量较高的图像描述。