随着互联网技术的快速发展,图像和视频已经成为数字媒体信息的重要载体。如何从图像与视频中提取有效的语义信息成为计算机视觉领域的研究热点。目前大多基于深度学习的方法通常利用有大量明确任务标注的数据进行训练和学习,但是由于某些特定和专业场景缺少任务相关的精细标注数据,难以学习高质量视觉信息。本文重点研究弱监督问题中不完全监督和不确切监督问题,即训练数据只具备粗粒度标签和只有部分类别训练数据具备标签。实际应用中,通常存在以下两种场景:（1）图像和视频只具有类别标签;（2）图像和视频只具有离线部分的标签。这两种复杂的场景常常导致模型难以建立数据与弱标签之间的直接联系且缺乏在线适配目标外观变化的能力。启发于人类视觉注意机制,本文重点研究将时空注意机制和弱监督信息进行有效结合,从而提升模型在弱监督场景下的目标检测与分割能力。首先,面向只有图像类别标签场景,针对难以建立数据与目标之间的直接联系问题,提出了一种基于强化学习精细擦除策略的弱监督图像目标定位检测方法。现有深度学习算法从大量候选框中迭代选取目标,会产生大量冗余计算且不符合人类视觉选择注意机理。因此,本部分通过强化学习算法构建拟人的注意力机制来学习输入数据、弱监督标记、目标三者间的隐含关系。从弱监督标记数据驱动的神经网络模型产生的特征图以及显著目标区域对于分类置信度的贡献出发,迭代关注显著物体区域,选择最显著且对于分类置信度贡献大的区域作为视觉注意选择区域。本部分提出的方法能有效地模仿人类的视觉机理,在两个公开数据集上的实验结果表明,在显著提升检测效率的同时,能够达到与其他深度学习方法相当的效果。其次,面向只有视频类别标签场景,针对难以感知高质量时空信息与弱标记语义信息问题,提出了一种基于多源显著性和时空榜样适配的弱监督视频目标分割方法。现有方法没能用学习的方法结合时空信息生成高质量伪标签且没能有效利用类别标签。因此,本部分通过从多源显著性知识中学习时空显著区域及榜样样本适配,进行弱监督分割网络的学习。本部分构建了多源显著模块和时空榜样适配模块,利用视觉显著性先验提取时域与空域之间的共性关系,通过深度神经网络充分利用类别信息结合协同语义进行分割任务。在三个视频目标分割公开数据集上的实验结果表明,本部分提出的方法不仅能模仿人类多源认知的融合过程,而且有效提升了算法的泛化性能分割精度。第三,面向只有视频离线掩码标注场景,针对缺乏视频序列在线指导信息问题,提出一种基于局部-全局记忆机制的非监督视频目标分割方法。现有方法大多使用光流或递归神经网络的方法,但在复杂场景下无法保证光流质量且递归神经网络难以优化。因此,本部分同时考虑局部和全局记忆机制,同时获得可靠的短时与长时的视频帧间相关性信息,从而实现非监督视频目标分割。全局和局部记忆模块分别通过协同互注意机制和图卷积网络以宏观到微观的范式完成非监督视频分割任务。在三个视频目标分割公开数据集上结果表明本部分所提出的局部-全局记忆机制能够有效提升算法的分割精度。最后,面向只有图像和视频离线掩码标注场景,针对难以通过网络底层感知高层特征问题,提出一种基于自我反馈机制的目标分割算法。现有算法通过设计不同前向网络连接方式提取空间语意信息。但由于前向网络的局限性,中间层的特征没有很好地向任务驱动的方向量化,导致前背景混淆问题。因此,本部分启发于视觉反馈机制,提出一种掩码指导反馈神经网络,通过聚焦-反馈-重估计的过程,协同优化聚焦与反馈网络。该网络通过高层网络生成的掩码信息生成全局目标特征,随后通过该特征与原图像中间特征进行特征传播,生成反馈重估计分割结果。本部分的掩码指导反馈神经网络应用在非监督视频分割、视频显著性检测、图像显著性检测、图像语义分割任务上都能够有效提升基准的精度,并在各个任务上达到了目前最好的效果。