图像描述生成技术将输入图片进行一系列复杂处理,输出该图片对应的自然语言描述,属于计算机视觉领域与自然语言处理领域相交叉的领域。图像描述生成技术能够将图像信息与自然语言描述联系起来,使计算机能够理解图像信息并生成相应的自然语言描述。基于场景的图像语义描述生成模型由编码器与解码器两部分组成:编码器由卷积神经网络实现,卷积神经网络对输图像信息进行提取,去除不重要特征,保留有价值特征并将其送入到解码器中进行处理;解码器由注意力机制和循环神经网络组成,注意力机制根据提取的图像特征、前一个循环神经单元隐藏状态特征决定提取的图像特征的权重比例,循环神经网络根据注意力机制生成的特征、隐藏状态、单元状态三者生成相应自然语言描述。本论文研究内容如下:(1)在编码器方面,针对Res Net-101卷积神经网络存在的问题,采用基于深度、宽度、分辨率三个方面综合考虑的Efficient Net卷积神经网络,Efficient Net卷积神经网络不仅在图像特征处理方面的性能非常优秀,而且整个卷积神经网络参数量不大,使用Efficient Net卷积神经网络作为图像描述生成技术的编码器相对于基于Res Net-101卷积神经网络的图像描述生成技术相比较,不仅在BELU-4评价上提高了1.65个百分点,而且训练时间略微变短了。(2)在解码器方面,论述了注意力机制在实现过程中存在的过拟合问题,引入批量归一化技术进行改进,对注意力机制结构进行研究,为了提高注意力机制的性能,引入一层激活层改进注意力机制。针对LSTM循环神经网络所存在的待优化参数量大、训练时间长的问题,使用GRU循环神经网络代替LSTM循环神经网络进行解码操作,对编码器输出特征进行处理,降低整个解码器网络的参数量,加速网络模型训练,通过实验验证,使用改进注意力机制和改进循环神经网络作为图像描述生成技术的解码器,不但生成自然语言描述的性能有所提高,而且减少了解码器网络的参数量进而减少训练的时间。最后,用改进的图像描述生成模型实现了基于场景的图像描述。