【摘 要】
:
由于其广泛的应用,对基于视频流的人体行为识别一直都是计算机视觉领域的研究热点,如牢狱边界行为防范、养老院老人异常行为预警、公共场所异常行为预警等等。行为识别任务主要的研究方向是实时行为识别,实时行为识别对来自于摄像头的实时视频流进行识别,处理速度必须超过视频流的速度,同时不能牺牲过多的精度。此外,若视频中包含多个目标则需先对目标进行跟踪再对其进行行为识别,故在多目标行为识别项目中计算资源消耗量与目
论文部分内容阅读
由于其广泛的应用,对基于视频流的人体行为识别一直都是计算机视觉领域的研究热点,如牢狱边界行为防范、养老院老人异常行为预警、公共场所异常行为预警等等。行为识别任务主要的研究方向是实时行为识别,实时行为识别对来自于摄像头的实时视频流进行识别,处理速度必须超过视频流的速度,同时不能牺牲过多的精度。此外,若视频中包含多个目标则需先对目标进行跟踪再对其进行行为识别,故在多目标行为识别项目中计算资源消耗量与目标个数成正相关。为了研究出兼顾准确性与高效性的行为识别算法,本文围绕高效行为识别算法开展了如下具体工作:1、提出了可增强3D卷积的空间特征提取能力的空间增强模块。通过对2D及3D卷积的空间特征与时间特征提取能力的全面分析,并搭建了2D与3D不同组合的网络结构并将其在两个大型数据集进行测试,得出结论:3D卷积的空间特征提取能力要弱于2D卷积。基于此结论,本文提出了空间增强模块,空间增强模块内部主体结构为3D卷积与2D卷积并联结构,2D卷积所提取的空间特征在模块的结尾会叠加至3D卷积所输出的特征图,这种并行的架构可显著提升3D卷积的空间特征提取能力,并通过两个大型行为识别数据集验证了空间增强模块的有效性。此外,空间增强模块在部署阶段可融合成单一的3D卷积,故空间增强模块相比3D卷积并没有引入额外的计算量。2、提出了采用基于Temporal 2D卷积的行为识别算法。3D卷积在行为识别任务中可很好的提取时间特征,但是部分部署平台对3D卷积算子并不支持。为了解决此问题,本文提出了Temporal 2D卷积,在使用2D卷积的情况下仍然可以保持与3D卷积一致的良好的时间特征提取能力。此外,Temporal 2D的运算速度以及参数数量保持在2D卷积的水平,相比3D卷积大大缩小了模型大小并提升前向推理速度。3、为了将行为识别算法应用于实际场景,本文设计了基于多目标跟踪的行为识别系统,该系统可识别玩手机、抽烟、奔跑、打架、摔倒5类异常行为。该系统首先通过目标检测模块获得所有目标的位置框;接着计算所有位置框的IOU以实现目标跟踪;其次将人体的运动区域截取下来,并采用上述第2点所提出的Temporal 2D所设计的网络对截取的区域进行行为识别,若某个目标持续一定时间均被判定为上述异常行为的其中之一,则模块会发出告警信号。最后通过结构化剪枝技术压缩了模型并提升了模型的计算速度。
其他文献
酚醛树脂具有低烟、低毒、抗化学性质稳定的特点,其在塑料、涂料、胶粘剂、复合材料等方面具有广泛应用。然而,酚醛树脂也存在脆性大、固化速率慢、游离物含量高等缺陷,选择利用木质素代替部分苯酚得到木质素改性酚醛树脂,不但可以改善其脆性,降低毒性,而且可以提高生物质资源的利用,减少石油基材料的使用,此研究具有重要的意义。耐水砂纸所使用的防水底胶主要为油性树脂胶,其在生产过程中不可避免会产生大量有机废气。本研
蘑菇来源的β-葡聚糖具有广泛的生物活性,包括免疫调节、抗肿瘤、抗炎症、抗氧化、抗病毒、代谢调节等。目前,对于β-葡聚糖的构效关系规律认识不清晰,对于指导β-葡聚糖在医药与保健领域应用构成障碍。茯苓(Poria)为多孔菌科真菌茯苓Poria cocos(Schw.)Wolf的干燥菌核。β-葡聚糖约占茯苓菌核干重的70%~90%,进行羧甲基化后,能够提升其生物活性。本文通过制备不同取代度及不同分子量羧
目的观察不同增殖阶段造血干(祖)细胞(hematoopoieticstemcells,HSCs)miRNA表达谱及其上游调控circ RNA与下游靶基因的变化,探讨HSCs外泌体对心肌细胞的保护作用及机制。方法超速离心法收集HSCs细胞上清中的外泌体,采用MTT细胞毒性试验、Alenxin V细胞凋亡实验等,验证HSCs外泌体的心肌保护作用。对不同增殖时间的HSCs外泌体进行small RNA-s
砷元素是“五毒元素”之一,砷及其化合物分布广、危害性大,是当今世界的重点防控对象。有色金属冶炼过程释放的含砷污染物在砷污染排放总量的占比达到了50.2%,是砷污染的主要来源。其中含砷石灰铁盐渣和高浓度含砷废水是冶炼厂中典型的两种含砷废物。然而,现有的治理技术存在着明显的不足:(1)传统的固化/稳定化处理含砷石灰铁盐渣后的产物长期稳定性不明确,砷可能在环境作用下再次释放造成水体和土壤的污染;(2)石
自2012年赣南围屋被列入《中国世界文化遗产预备名单》,许多典型围屋也被陆续列入各级文物保护单位。围屋聚落“空心化”、原有风貌被严重破坏等传统与现代分离的现象逐渐引起了国内外学者的重视。虽然当前针对赣南围屋的保护发展已经取得了阶段性成果,但是大多数都是对现状利用、建筑修缮和文化价值等研究,对围屋建筑的深层次内涵探索不足,围屋建筑保护和发展仍然缺乏创新的探索。课题针对上述问题和不足,对赣南围屋建筑文
在人口老龄化不断加速的背景下,积极发挥养老机构的支撑作用成为解决养老问题的可行途径。与此同时我国养老服务机构供需结构失衡,运营可持续性低下,无法满足现有养老需求。在此背景下,研究PPP模式下机构养老项目的合作机制,有助于丰富PPP项目运营管理和投资决策的理论研究,提高养老机构服务供给效率和抗风险能力,促进普惠养老,与未来发展趋势相吻合,具有一定的理论意义和现实意义。本文基于PPP模式的基本结构和特
硬岩地层下盾构滚刀的磨损速度快,需要经常性地停机开仓对滚刀进行检查与更换,目前对开仓节点的位置主要依靠工程经验做出人为判断,同时,滚刀磨损影响因素种类多范围广,国内外已有的滚刀磨损预测的理论模型和经验公式不具备良好的包容性和普适性。因此,找到一种具有推广性的方法对滚刀磨损进行有效预测是当务之急,以期达到减小工程风险,加快施工进度,降低工程造价的效果。针对以上问题,本文将基于Levenberg-Ma
随着集成电路微缩技术难以持续提升电子产品性能和降低功耗,异构集成逐渐成为后摩尔时代集成电路高密度化及电子产品高性能和多功能化的关键技术,已广泛应用于5G、大数据和人工智能等新兴领域。异构集成将不同制程、功能和尺寸的芯片通过先进基板和布线层集成在一个封装体中,形成一个多材料、多界面和跨尺度的复杂体系。由于封装结构中材料热膨胀系数不匹配,在集成电路制造、测试和服役过程中材料界面存在较大的应力,会导致界
近年来,为了满足迅速攀升的道路交通出行需求,各地方政府出台了一系列鼓励和支持道路交通运输发展的政策,全国公路总里程持续增长,路网规模不断扩大。县域干线路网作为公路网重要组成部分,是县域公路网重要的骨架与脉络,承担了县域公路交通的主要运输压力,对于促进县域经济社会发展具有重要作用。为了更好地评估县域干线路网发展水平,促进县域干线路网健康可持续发展,本文提出县域干线路网广义需求适应性的概念,分析了县域
随着云时代的到来,网络流量暴增,高速传输的光通信网络是人们日益迫切的需求。然而在长距离相干光通信系统中,传输速率过高或传输距离过长都会造成数据因受光放大器噪声和线性、非线性传输损伤的影响出现大量错误。在短距离传输系统中,特别是基于正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)的直接检测强度调制系统(Intensity-Modulati