随着深度神经网络在视频内容理解与分析任务上取得卓越的效果,基于深度学习的自动视频描述已经广泛的部署在现实应用中。视频自动描述的主要挑战是从大量的帧中捕获关键视觉信息,比如物体、动作和时空关系,并用语法正确的句子进行整体的描述。现有的视频描述方法大多集中于利用注意力机制,捕获全局视频中的关键帧或帧中的关键区域来对视频的语义信息进行建模,而忽略了视频本身的层次结构。视频内在的这种由粗粒度到细粒度的层次性,使得我们需要一种层次化的方式来捕获视频的关键信息,增强不同特征之间的交互,从而生成更准确也更全面的视频描述。针对当前视频描述生成中存在的问题,本文提出基于联合层次化注意力机制的视频描述生成,以解决这些问题。本文主要创新点有:1)本文通过层次化的方式对视频片段特征、视频帧特征和局部物体特征进行特征嵌入,并提出了一种新颖的端到端可训练的视频自动描述模型来层次化地选择关键视频片段和关键空间区域。用于模型输入的视觉语义层级由高到低,通过注意力机制获取全局信息同时也能捕获物体、场景等细粒度高的视觉信息,这样的层次化方式既增加了视觉语义的丰富性,同时也提升了描述生成的准确率。2)本文设计了结合序列到关键帧和关键帧到关键区域的注意力模型,并提出了一种基于概率的可微分采样器对关键帧与关键区域进行采样。这样的采样方式在训练过程中既连接了两个注意力模型的梯度,同时也起到了数据增强的作用,极大地增强了模型的鲁棒性与泛化能力。本文在多个相关的视频描述生成数据集上进行了实验,通过与当前主流方法的比较,验证了本文提出的方法在描述生成性能上优于主流方法。