近些年来,卷积神经网络因其强大的建模及表达能力改变了甚至革命化了许多机器学习任务,视频显著性物体检测就是其中的一个。视频显著性物体检测旨在识别出一个视频内最具有显著性的物体,不仅有助于理解人类视觉系统的机制,而且还是许多高级计算机视觉任务不可或缺的预处理方法,例如视频物体分割、视频分类、视频重定时和自动驾驶等。视频显著性物体检测在日常生活中的应用也有很多,比如帮助审核视频内容的人员或进行视频监控的安保人员更快聚焦视频主要物体及活动,以节省时间和人工精力等。当前的视频显著目标检测方法侧重于探索利用短期或长期时间信息。然而在这些方法中,视频的时间信息局限在全局的帧级或规则网格结构中被利用,这种利用方法忽略了帧间的结构依赖性。在本文中,我们提出使用结构进化图卷积网络来学习视频的长期结构依赖。特别地,我们使用一个快速的超体素分割方法为整个视频构建了一个图,其中每个节点根据时空结构相似性进行连接。我们在图上使用深度结构进化图卷积神经网络来推理显著物体的帧间结构依赖性。为了修剪图中的冗余连接并更好地适应移动的显著物体,我们提出了一种自适应图池化操作,它通过动态合并相似节点来改进图的结构,以此学习更好的图多层次表示。在六个公共数据集上的实验表明,我们的方法优于所有其他先进的方法。此外,我们还证明了我们提出的自适应图池化操作可以在分割精度方面有效地提高超体素算法的性能。