近年来,随着人工智能技术在多媒体领域的不断发展,对图像生成自然语言描述得到了越来越多的关注。针对不同的图像信息,我们生成的自然描述将包括图像中存在的物体以及物体所具有的属性、活动和场景,这种描述将更能体现图像的细节信息,便于人们的理解。基于上述需求以及人工智能技术,特别是深度学习技术的不断发展,在本文中,我们主要介绍了基于已经生成的结构化文本(例如<物体,属性,活动,场景>四元组)来产生图像的自然描述。所以,本文主要介绍了通过两个步骤来生成具有丰富信息的图像自然语言描述的方法。第一部分为结构化文本的生成阶段,在这一阶段中,我们采用多任务学习的方法来识别图像中存在的结构本文:<物体,属性,活动,场景>。在下一阶段中,我们使用基于深度学习的机器翻译方法,将已经生成的结构化文本序列作为源语言,并利用这些识别出的结构化文本来生成具有语义的,有意义的自然语言描述。为了达到这一目的,我们使用了长短期记忆模型(LSTM)编码-解码机器翻译模型来将上述结构化文本序列翻译为目标语言,也就是图像的自然语言描述。特别地,这些描述主要由物体和它们具有的属性,比如颜色,大小等,以及物体之间存在的相应的活动关系和场景所组成。与此同时,为了证明第一阶段中我们采用多任务学习的方法生成结构化文本的有效性,我们在一些基准数据集比如aPascal和aYahoo上做了相应的实验。同样的,我们也在UIUC Pascal,Flickr8k,Flickr30k和MSCOCO这些基准数据集做了相应实验并依据一系列的语言描述评判标准来证明使用我们提出的方法将结构化文本翻译为语言描述相比较其他方法取得了有效的提高。