随着深度学习技术的发展,融合多种数据格式的多模态数据有了广泛的应用。如何有效利用多模态数据,帮助人类做出更智能的决策,成为现在的研究热点之一。本文主要研究了多模态数据研究领域的图像文本描述算法。图像文本描述算法需要对图中包含的物体,物体属性,以及物体之间的关系用文字进行准确描述。并且输出的文字描述需要满足语法规则。基于编码-解码网络结构的图像文本描述算法是目前主流的图像文本描述算法之一,在此结构中,通常选择循环神经网络的变体长短时记忆网络LSTM或者GRU作为解码器,将提取到的图像特征转化为文本描述输出。但由于具有循环结构的网络都存在一定程度上的梯度消失的问题,使得训练一个良好的图像文本描述解码网络变得十分困难。同时具有循环结构的解码器不能并行处理数据,大大降低了文本的生成速率,不能很好地发挥GPU的性能。针对此问题,本文提出的包含可以并行处理文本数据解码器的图像文本描述模型TCA和DTC,其中DTC模型中不包含任何循环结构以及卷积结构。通过并行处理序列数据的解码器,提高了 GPU利用率,加快了模型训练速度,同时也提高了生成文本描述的质量。同时,针对现有图像文本描述算法中,仅仅使用交叉熵损失函数作为指导训练网络,没有考虑到图像和文本之间的匹配度,使得模型对相似图像生成的图像文本描述不具有区别性。因此本文在训练图像文本描述模型的过程中,引入对比损失函数作为正则项,提取到图像更具有区别性的特征,进而生成相似图像具有语义区别性的文本描述。通过在标准数据集上的测试结果验证了算法的有效性,本文算法生成的图像描述在各个评价指标相比循环网络均有一定的提高。