随着互联网上网人数的增加和互联网技术的发展,网络空间在多种场景下积累了海量的视频数据,需要一种有效的方法对视频数据内容进行处理、分析和管理,满足在各种场景下的应用需求。时序动作定位属于视频理解算法的一种,可以帮助人们在多种场景下对视频进行快速的检索、定位,在多个领域有着重要的应用价值。具体来说,时序动作定位是在一个未经修剪的视频序列中找出发生动作的时间区域,即动作行为的开始时间和结束时间,并预测动作的类别信息。本文聚焦于更具实际应用价值的弱监督时序动作定位任务,其在训练阶段只有视频级的类别标签可用。现有算法大都通过融合RGB特征和光流特征进行来进行动作定位。然而,两种模态之间存在差异与互补性,简单的拼接或加权无法充分利用这一特性,甚至会导致错误的预测结果。为了解决这个问题,本文提出跨流协作学习算法,其关键思想是激励模型在训练过程中识别哪种模态更稳健,并利用稳健模态的预测来指导较弱的模态,以促进其学习并提高其识别能力。具体来说,算法的跨流加权模块使一种模态的类激活序列不仅要乘以同一模态的动作得分序列,还要乘以另一种模态的动作得分序列,从而改善该片段的动作得分。此外,跨流抑制加权模块抑制了在两种模态中都有高动作得分的片段,进一步利用这两种模态之间的互补性。现有的迭代优化方法利用伪标签监督训练模型,进一步提升动作定位效果。然而现有算法存在着伪标签生成不准确、具有大量噪声的问题。针对这一问题,本文提出一种基于协同训练的模型迭代优化方法。其在伪标签生成过程中不会对所有的动作片段产生标签,而仅对那些两个模态都有信心的片段生成标签,提高了伪标签的质量,更好的提升动作定位效果。在THUMOS14和Activity Net数据集上进行的大量实验表明,本文提出的算法与先进的方法相比取得了良好的性能。