视频中的时序行为检测方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hermes262
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时序行为检测的主要目的是定位未剪辑视频中行为的开始和结束位置以及检测行为的类别,该任务能够在视频搜索和异常行为检测等方面发挥作用。由于行为持续时间变化大,导致该任务容易发生持续时间长的行为被分成多个持续时间短的行为、行为边界框定位不准确等多种问题。为了提升时序行为检测性能,本文主要从基于时间上下文信息和全局信息的时序行为检测、基于时间全局信息的行为边界框生成以及基于行为边界框关系模型的边界框置信度调整三个方面进行了研究。针对现有的时序行为检测网络对行为的时间上下文信息以及视频的全局信息利用不足的问题,本文提出了引入时间上下文信息与时间全局信息的时序行为检测网络(Temporal Action Detection Network with Context and Global Information,TADNet)。该网络构建了用于特征提取的时间金字塔(Temporal Pyramid,TP)模块以及用于视频全局信息获取的时间依赖(Time-Dependence,TD)模块。实验表明,通过引入时间上下文信息和全局信息能够明显提升时序行为检测网络的性能。针对现有行为边界框生成方法存在的缺点,即所使用特征缺乏足够的时间全局信息,导致边界框定位不准、生成的特征不完全适合边界框生成任务,本文提出了时间全局相关网络(Temporal Global Correlation Network,TGCNet),利用时间全局相关(Temporal Global Correlation,TGC)模块获取全局信息。实验表明,所提出的TGCNet网络能够提升时序行为边界框生成性能。针对现有网络输出的行为边界框置信度与边界框定位准确性不一致问题,本文提出了时序行为关系网络(Temporal Action Relation Network,TARNet),该网络的行为关系(Action Relation,AR)模块采用注意力机制构建了不同边界框之间的关系,以生成更具有判别能力的边界框特征。实验表明,通过构建边界框之间的关系,能够明显地提升时序行为边界框生成网络的性能。本文的研究主要针对如何提升时序行为检测在未剪辑视频中的效果,该研究能够运用在视频检索、城市安防、网络不良信息过滤等方面。
其他文献
药物设计是计算生物学研究的热门方向,考虑到计算机模拟的低成本、耗时少等优点,使用分子对接软件来模拟靶标蛋白与小分子之间的相互作用,已成为药物设计过程中的常见手段。已有的分子对接软件常采用多构象法来描述小分子柔性。但蛋白质柔性的处理是一个巨大挑战,当前最常见的处理方法是“系综对接”(或集合对接)。基于分子对接的虚拟筛选作为药物设计的辅助工具,有着非常重要的应用价值,如今这一技术已经变成了药物发现过程
为了满足电动汽车在快速充电及双向充放电等应用场合上的需求,需研制高压大功率双向变换器以满足快速充电站网络的要求。对于传导式的充放电模块,多采用AC/DC和DC/DC的两级结构。本课题针对后级结构中两相并联三电平双向Buck/Boost变换器的控制策略进行优化,主要包括电感电流均流控制、输入电压均压控制和开关管错相控制三个方面。为实现电感电流均流,本文介绍了一种解耦的均流环设计。现有并行的输出控制器
遥感图像描述生成任务旨在让计算机识别和理解图像的内容并自动生成相应的文本描述语句,它融合了计算机视觉和自然语言处理两个领域。其在遥感技术的很多应用场景,比如军事情报生成、信息检索、资源调查、灾害检测等都起着关键作用。不同于场景分类和目标检测这样的图像理解任务,图像描述生成不仅要识别图像中的对象和属性,还要建立两者间的关系,并生成符合人类规范的自然语言描述语句。受益于人工智能的蓬勃发展,深度神经网络
负微分电阻(Negative Differential Resistance,NDR)器件在高速逻辑电路、快速分子存储器、高频振荡器以及分子神经形态器件等方面具有广泛的应用。现有理论和实验研究表明,几何构型、边缘钝化对石墨烯纳米带电学行为有调控作用,某些纳米带结构可呈现NDR特性,本文采用第一性原理计算研究石墨烯纳米带异质结的NDR效应。本文首先根据石墨烯纳米带电子特性随宽度、边缘钝化方式以及边缘
宽面半导体激光器具有能量转换效率高、稳定性好、寿命长、体积小、易于集成等优点,被广泛应用于工业和科学领域。通常认为宽面半导体激光器的输出光场分布是各个不同橫模的非相干叠加。但是当发生模式简并时,不同橫模之间可能是完全相干的。本文分析了宽面半导体激光器的模式结构,设计了模式空间相干性测量系统,观测了不同输入电流下的模式结构,发现了模式简并状态下橫模间的完全相干性。主要内容如下:(1)设计单管半导体激
地震属于会对人类造成重大经济和社会损失的自然灾害之一。其中极罕遇地震动的破坏力更强,隔震支座-阻尼器联合作用作为目前主要的减隔震手段,在极罕遇地震动条件下的减震效果需要进一步探究来明确。本文以ETABS和ABAQUS为主要计算软件,完成了以下工作:首先,本文介绍了国内外减隔震技术的研究现状,总结了减隔震技术运用的主要内容,并在此基础之上介绍极罕遇地震的相关内容,阐述了在极罕遇条件下进行减隔震设计参
随着纳米技术的快速发展,以纳米光子学和纳米力学理论为基础的腔光力学已成为量子光学、非线性光学研究领域的重要分支。腔光力学主要的研究对象是光学腔与力学振子通过辐射压相互耦合而成的光力系统。近年来,许多重要的研究结果表明腔光力系统在力学振子的边带冷却、引力波的探测、弱力的精密测量等方面具有重要的应用前景。其中大部分的研究主要关注的是线性耦合腔光力系统的物理特性,而基于平方耦合腔光力系统的研究相对较少。
评估数字经济对企业创新的作用及其作用机制,并细化企业创新需求差异对数字经济与企业创新关系的影响,尤其探讨企业创新需求,即要素密集度和行业竞争度对数字经济与企业创新关系的调节机制,以促进提升数字经济的创新激励效果。基于2011—2019年中国A股上市公司及其所属地级及以上市的数字经济数据,实证发现,数字经济可以促进企业创新,并表现在创新需求较高时,即对资本密集型和技术密集型企业以及行业竞争度较高的企
为准确预测空调房间热环境的动态变化,提升空调器热舒适环境检测试验室的效率,提出了一种并行协同仿真方法,实现了对空调系统模型与房间热环境模型的高效耦合和协同模拟。首先,根据热力学原理,利用Simulink构建了空调系统一维动态模型,通过稳态实验数据验证了该模型的误差在3%以内。当压缩机运行频率和室外工况变化时,该空调系统模型可对房间空调器的动态特性进行有效预测。其次,以房间热环境为研究对象,利用Fl
目的:1、调查化疗药物柔红霉素(DNR)联合阿糖胞苷(Arac)(简称DA)是否诱导急性髓系白血病(Acute myeloid leukemia,AML)干细胞衰老;2、比较AML来源的细胞系中白血病干细胞(Leukemia stem cells,LSCs)和非白血病干细胞(non-LSCs)两群细胞化疗药物作用前后衰老水平,探讨LSCs是否存在衰老抵抗现象;3、利用筛选培养的耐药细胞系以及临床A