显著性检测旨在模拟人类视觉系统的注意力机制。神经学研究指出人类视觉系统对同步的视听刺激产生的响应要大于单独的视觉刺激,从神经控制的角度表明声音对人眼的关注存在一定影响。然而,以往的视频显著性检测多侧重于视觉信息方面的研究,而忽略了听觉信息的相关作用。将音频引入视频显著性检测研究,可以更好地模拟真实视频观看场景下人眼对视听信息的处理过程,以及人类视觉系统的响应情况。为了更好地体现视觉关注中听觉的影响,需要对已有的基于深度学习的视觉关注模型重新设计,其中包括:多模态刺激情况下的显著性检测算法设计,及相关特征的提取、不同模态语义的交互和特征融合。特征提取部分依据视频帧和音频的不同模态进行分别处理,更有针对性地获得相应的视觉和听觉特征;语义交互和特征融合部分的重点在于合理模拟人脑视听刺激的交互方式,促进信息的有效融合。此外,为了进一步探索听觉和视觉刺激的相互作用,在多个卷积层采取了不同的语义交互方式。针对上述音视频显著性检测方案的关键技术难点,搭建了一个双流输入的端到端网络架构,该网络以音频和图像同时作为输入,以特征提取、语义交互和特征融合作为核心模块,以显著性预测图作为输出,并以此考察听觉刺激对视觉关注的影响。实验验证了在视频显著性检测研究中引入音频的合理性和有效性。其性能不仅优于没有考虑音频的方法,与同期发表的同类方法相比也具有一定的优越性。