基于深度卷积网络的时序动作定位

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:leolover211
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时序动作定位需要在未剪辑的视频中找到所有与人有关的动作,不仅要确定动作发生的精确时间还要确定其类别。弱监督时序动作定位使用视频级的类别标签作为监督信号,相比于全监督的方式标注成本低,其视频中只有少数同一类别的动作片段。现实生活中的视频动作实例更多,且同一时间会发生多种动作,弱监督的方法难以建模密集分布的动作实例之间的复杂时序关系。故本文对弱监督时序动作定位和多标签时序动作定位进行研究,具体工作如下:(1)针对现有弱监督时序动作定位方法产生动作提议不完整以及动作语境混淆问题,本文设计了一种多时间尺度一致性网络。首先使用一种多时间尺度的模块,利用不同尺寸的卷积核建模视频的时序关系,并使用多分支来提升动作完整性。其次,通过估计多时间尺度特征的时间类激活图,并对多分支的时间类激活图进行融合,获得多时间尺度一致性的动作预测标签。最后,为了进一步优化模型预测的动作标签,采用迭代优化策略,在每次迭代中更新预测标签,并为模型训练提供有效的帧级监督信号,从而解决动作语境混淆问题。(2)针对多标签场景下难以建模动作实例之间的复杂时序关系问题,本文设计了一种动作依赖网络,处理多标签复杂场景下的动作定位。不同动作标签之间的动作依赖关系包括发生在同一时间的类别依赖和不同时间的时序依赖。为了建模复杂动作间的依赖关系,首先提取视频特征,并对其增加类别维度,从而转换为类级的特征。然后基于两种依赖关系利用注意力调整类级特征,通过同一时间内其他动作的是否存在来建模类别依赖关系,时序依赖关系则是通过输入视频的所有时间内的动作来建模的。通过对这两种依赖关系的建模更好地学习时空表达能力,提升网络对于复杂动作的定位能力。
其他文献
心血管疾病的检测和预防是当下研究的热门。由于便利、经济等特点,心电信号的检测成为了辅助医生诊断患者是否患有血管疾病的重要方法。传统的检测方法需要临床医生根据自己的经验对心电信号进行分类,但医生对大量的数据进行检测时容易产生疲劳,导致漏诊、误诊。针对以上问题,本文设计出了心电信号自动检测方法,可以成为辅助临床医生检测的工具。随着对心电信号研究的深入,科学人员发现,患者在发生睡眠呼吸暂停(Sleep
学位
在狭小封闭的地下隧道中,GPS信号通常十分微弱甚至无GPS信号。在这样特殊的交通场景下,为了保障在隧道中行驶的车辆的交通安全,车辆的高精度实时定位是一个亟需解决的重要问题。目前市场上用于车辆定位或者是辅助定位都离不开GPS的支持。随着无人驾驶车辆和ADAS逐步投入使用时,解决隧道内部的行车安全问题具有较大的研究意义。本文基于UWB定位技术的隧道高精度定位系统,在不使用GPS情况下为隧道中的车辆提供
学位
随着通信技术以及智能技术的快速发展,车联网中的业务也朝着智能化、多样化发展,随之而来的也产生了大量计算密集型任务,但是智能车辆自身有限的资源无法应对该挑战,车联网中的任务卸载技术被认为是一个有效的解决方案。车联网中车辆的快速移动会导致网络拓扑变化,进而会出现局部拥堵的情况,这给车联网中任务卸载问题带来了巨大的挑战。为此本学位论文考虑兼顾任务卸载的整体处理时延和算法耗时来设计拥堵场景中的车联网任务卸
学位
光场相机作为一种新型的光场成像设备,可以记录场景中丰富的光线信息,提供了更加强大的场景理解能力。目前,基于深度学习的光场深度估计方法在估计精度和算法效率上均取得了不错的成绩。但是,随着网络层数的加深以及网络结构的复杂化,现有的光场真实场景数据集难以支撑大规模的网络训练,仅使用光场合成场景数据集训练的模型泛化性能较差;同时,现有的方法为了权衡精度和效率,并未充分挖掘光场图像中丰富的场景信息,损失估计
学位
全球卫星导航系统(Global Navigation Satellite System,GNSS)是全球信息基础设施的重要组成部分,其技术无处不在。然而,随着现代科技的发展,复杂的电磁环境,电子对抗的丰富多样,这些都对卫星导航接收机性能提出了巨大的挑战,并且提高卫星导航系统的干扰检测能力一直是人们研究的热门话题。本文从卫星导航信号处理方面入手,提出Radon变换与时频分析结合的方法来检测扫频干扰信
学位
图像超分辨率重建是图像处理领域中重要的低层次计算机视觉任务,它主要是提高图像或视频的分辨率,旨在提高图像质量,获得最佳的视觉效果。图像超分辨率重建技术指的是从低分辨率图像重建高分辨率图像,它在高清显示、视频监控和医学成像等场景中被大量应用于实践。近年来,源于卷积神经网络和深度学习的飞快发展,基于上述两种方法的图像超分辨率重建模型被研究者们大量提出,并取得了重大突破。本文基于前人的理论和研究,提出了
学位
随着互联网技术以及通信技术的飞速发展,移动通信系统已经迈入5G时代并朝着6G研发阶段快速前进,物联网以及车联网的使用也会越来越广泛,伴随而来的是全网的通信带宽以及算力的大幅提升,这给云计算、边缘计算和任务卸载提供了发展的必要条件。但同时对网络中的计算或带宽资源的分配提出了更高的要求。在一些对性能要求较高的场景中,对资源优化的需求就更加强烈。在万物互联的时代,服务机器人的应用变得越来越广泛,室内服务
学位
边缘计算(Edge Computing)作为一种全新的计算范式,通过在靠近用户设备端部署具有一定计算能力的计算设备,实现为用户提供直接相连的高带宽、低延迟、高效率的计算应用服务。边缘计算场景下的任务执行可能会由分布在不同物理空间的计算单元协作完成,使得任务中各模块间的依赖性关系对于任务的有效执行具有较大影响。因此当复杂应用程序的服务请求到达边缘计算系统后,如何根据依赖性关系将任务各模块划分成便于计
学位
连续大气偏振模式伴随太阳位置改变呈现出沿太阳子午线对称变化的特性,该模式作为大气物理属性,所携带的时空信息不易受到天气与电磁的干扰,在导航与探测等领域具有重要的应用。为解决连续大气偏振数据采集过程中存在数据不连续、特征获取不完整的问题,本文从信息处理角度出发,分析大气偏振模式分布变化规律,利用深度学习技术设计了不依赖于环境参数的大气偏振数据预测模型及偏振特征重构模型,保障采集数据的连续性与特征完整
学位
随着煤矿业的发展,矿井深度逐年提高,热害逐渐成为矿井的主要灾害之一。热害的及时预警作为热害防治的第一步尤为重要。人体长期在高温环境中工作会降低人体热舒适度并对身心产生伤害。我国国家标准《煤矿井下热害防治设计规范》中规定采煤工作面的等效温度不应该超过28℃。等效温度是温度、湿度和风速的综合体现,能更科学、准确反映人体的热舒适度。作为评价矿井是否发生热害的标准,矿井中能否实时获取等效温度的数值在热害的
学位