最近十年来,随着深度学习技术的飞速进步,越来越多的研究人员将眼光投入到计算机视觉与自然语言处理相结合的任务中。其中的一个任务:图像描述,即图像生成文本,该任务旨在通过用一句或多句自然语言来描述图像的视觉内容。最近,它已取得了显著的成果,图像描述任务按照生成的文本长度可分为:单句子的图像描述和图像段落描述。单句子的图像描述更强调生成的句子符合图像语义,从图像的整体部分去描述图像的视觉内容;图像段落描述则更强调句子的完备性和多样性,使生成的段落能从多角度地去描述图像的视觉内容,而不是像单句子的图像描述局限于图像的主体部分,而忽略图像细节。段落描述中的段落句间冗余度低,描述的内容具有多样性。因此,本文针对这两个子任务中其存在的一些问题进行了研究。首先,本文针对单句子的图像描述算法进行了研究。近年来,各种注意力机制广泛地被引入编码器-解码器神经网络的图像描述框架中,以提高模型的性能。然而,现有的模型却忽略了显着图像区域的选择与对局部和全局表示学习的空间信息监督之间的关系,从而降低了模型的描述性能。因此,本文提出了一种基于空间信息注意力的特征动态融合算法,提取了局部图像区域和整个图像中显着对象的空间信息序列,以空间信息为注意力指导,去指导全局特征和局部区域级特征的动态融合,以生成更加丰富的描述语句。具体来说,一方面,在编码阶段,提取显著对象的对象级视觉特征及其空间边界框。另一方面,在获得了整个图像的全局特征图之后,这些特征图与局部特征融合在一起,融合后的特征被送到基于长短期记忆网络的语言解码器中。在解码阶段,本文提出的自适应注意力机制会动态选择由图像描述指定的相应图像区域去解码生成语句。最后,本文在图像描述标准数据集:COCO数据集和Flickr30k数据集上进行的大量实验证明了该算法的有效性,结果表明本文提出的方法使各类指标均提升了1%-5%,特别地,使图像描述关键性指标CIDEr从108.5提升至114.5。进一步,为了得到更具多样性和正确性的长段落文本,本文进一步研究了图像段落描述。图像段落描述旨在由图像生成长文本的段落,通常一个段落包含8-10个句子。现有的方法通常采用单阶段策略来训练分层网络,其中单阶段意味着那些模型无需进行多阶段修改即可直接生成描述。由于曝光偏差,可以观察到描述生成过程中可能存在错误和遗漏,例如图像中的一个对象被错误地表达或图像中的某一个子区域被忽略而没有被语言表达出来。为了解决这个问题,本文提出了一种新颖的图像段落描述处理方法,称为多阶段选择性重解码算法,该算法扩展了传统的单阶段方法以生成更丰富的文本描述。获得初步的描述文本后,本文提出的模块会动态选择上一阶段中合适的单词和未解码的视觉特征。在下一阶段,将这些选定的特征重新解码为新的描述性语句。新文本描述比以前的文本更加多样化和精细。本文在图像段落描述数据集Standford数据集上进行了大量的实验,以证明本文工作的重要性。特别地,在Standford数据集上,使图像段落描述中的关键性指标CIDEr从30.63提升至33.83。通过以上研究,本文图像描述生成文本方法进行了深入的研究,为图像生成文本研究中所面临的关键性问题提供了切实的解决方案。结果表明:图像中对象的空间信息在对图像描述中全局特征和局部特征的动态融合起到了重要作用,进而影响模型的描述性能;多阶段选择再解码的思想,也解决了段落描述中错误和遗漏的问题,有效地提高了模型的性能。