随着互联网和多媒体技术的飞速发展,视频数据出现了爆炸式增长,在海量的多媒体数据中占据了重要地位。给定一段视频,大多数人都可以轻松地从中获取很多信息并对其内容进行不同程度的解释和描述。然而,对于机器而言,从视频中提取信息并生成语句描述是非常具有挑战性的。近年来,随着深度学习热潮的掀起,视频描述这一任务在语言和视觉研究领域吸引了越来越多专家和学者的关注。尽管视频描述方法的研究已经取得了显著的进展,但是由于视频固有的多模态属性以及不同模态之间存在的语义鸿沟,这一任务仍面临着许多挑战:（1）为了生成准确、全面的自然描述语句,视频的外观、动作、声音等特征都十分重要。然而,大多数现有的方法只是简单地对不同模态的特征进行级联操作,忽略了它们之间的相互关系。（2）视频的视觉特征空间与语义嵌入空间之间存在着巨大的语义鸿沟,使得它们之间的相关性和兼容性难以探索,这让视频描述任务变得更加艰巨。（3）大多数方法仅仅考虑视频的视觉和文本模态,而忽略了声音模态,导致模型对声音有关场景比较敏感。考虑到上述问题,本文提出了基于显式视觉特征融合与语义嵌入指导注意力机制、基于显式视觉-声音特征融合与语义嵌入指导注意力机制的两种视频描述模型。其中,显式视觉特征融合和显式视觉-声音特征融合可以统称为显式特征融合。首先,本文设计了一个显式视觉特征融合模块,捕捉视频中多个视觉模态的特征维度之间的两两交互关系,并以一种显式的方式来融合这些不同模态的视觉特征。其次,本文提出了一种新颖的注意力机制——语义嵌入指导的注意力机制,与传统的时间注意力机制结合组成协作注意力模块,负责生成联合注意力图。具体而言,在每个解码阶段,语义嵌入指导的注意力机制利用语义单词嵌入信息来引导模型更多地关注当前时刻最相关的视觉特征。这样,视觉空间和语义空间之间的语义鸿沟在一定程度上得到了缓解。此外,在上述基础上,本文进一步提出了第二种视频描述模型,它能够有效地提取和利用声音上下文。具体而言,该方法通过显式视觉-声音特征融合模块,对视觉上下文和声音上下文进行显式的融合,以更好地探索视觉与声音模态之间的交互关系。为了对提出的模型进行评估与验证,本文在两个广泛使用的基准数据集（MSVD和MSR-VTT）上进行了大量的对比实验和消融实验。面向视频描述问题,本文的主要贡献总结如下:（1）提出了一种显式特征融合方法,包括显式视觉特征融合和显式视觉-声音特征融合,来建模不同模态特征之间的成对交互,并以一种显式的方式将它们融合为一个单一的特征向量。（2）提出了一种新颖的注意力机制——语义嵌入指导的注意力机制,该机制利用语义单词嵌入信息计算注意力权重,并与时间注意力机制相互协作,生成更有意义的联合注意力图。（3）在MSVD和MSR-VTT数据集上的对比实验表明了本文提出的模型达到了比较先进的结果;与此同时,大量的消融实验验证了本文提出的上述机制（即显式特征融合和语义嵌入指导的注意力机制）的有效性。