基于多通道融合的监控视频人体行为识别研究

来源 :上海理工大学 | 被引量 : 0次 | 上传用户:ivy1128
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体行为识别是智能视频监控技术中的关键技术之一。由于人体行为具有多样性、复杂性,使其成为学术界广泛研究的课题,提高人体行为识别的准确率是目前研究的难点所在。本文以视频监控中的人体行为识别作为研究目标,利用特征提取和深度学习等领域的前沿技术,对视频帧序列分析,以达到提高人体行为判别准确率的目的。本文提出一种多通道融合的人体行为识别算法,分别提取视频帧序列的运动历史特征(MHI)、红外特征和RGB图像特征,建立三个算法通道(MHI-CNN算法、RGB-CNN算法和Thermal-CNN算法),并将运算结果融合。MHI-CNN算法首先使用运动历史特征提取算法对连续10帧的动作进行特征提取,将运动的人体目标在一段连续时间内的运动状态用图像亮度的方式表示出来,然后使用VGG-16卷积神经网络(Convolutional Neural Network,CNN)对运动历史图进行训练和测试,提高了对走、跑、跳等相似行为的识别准确率;RGBCNN算法将RGB图像输入Faster R-CNN神经网络模型中进行训练和测试;Thermal-CNN算法对人体行为视频采集设备增加了红外摄像的功能,使得算法能够识别低照度及人体与背景灰度相似时RGB图像无法识别的人体行为;最后分别使用最大融合和平均融合的算法对人体动作类别信息和边框信息进行融合,得到最终的判定结果。为了验证算法的实用性,本文在学院大楼9楼进行动作模拟和视频拍摄,采集了3名同学的10种个体行为和交互行为,制作了Tenth Lab数据集,准确率达到97%,并在公开的KTH数据集、Weizmann数据集和UT-interaction数据集上对所提出的算法进行实验验证,准确率分别达到了98.83%、99.10%、99.00%和97.00%。实验结果证明,与近几年来的同类算法比较,本文提出的人体行为识别算法准确率较高,能够同时识别单人和双人交互行为,适应性较好。
其他文献
伴随着超短脉冲激光加工技术及超低温技术的发展,学者们逐渐注意到传统的傅立叶定律无法准确地描述此类过程中的热传递行为,并将热量传递过程中存在的非扩散行为命名为非傅立叶效应。为此,学者们提出了诸多理论来修正实验与傅立叶定律之间的偏差,其中最为广泛采用的是以法国学者Cattaneo和Vernotte等人为代表的热传递弛豫时间理论(单相弛豫时间理论,SPL),在该理论中引入了弛豫时间的概念,使得原来的导热
学位
作为地球上储量最丰富的材料,金属氧化物具有稳定性好、易制备、环境友好、多价态等优点,在环境和能源相关领域得到十分广泛的应用。二维纳米金属氧化物(2D-NMOs)由于表面积大和电子、离子传输距离短,近年来受到极大关注。但非层状2D-NMOs的制备具有很大挑战,且应用过程中片层间的不可逆堆叠导致性能衰减。为了解决以上问题,本论文制备了一系列褶皱结构的NMOs,提出了普适性的制备方法。该方法结合氧化石墨
学位
物体识别技术已经广泛应用于人们的日常生活中,如百度AI识别、支付宝拍照识花、QQ浏览器拍照识物等。现有的拍照识别物体的技术多是利用物体的单个2D图像信息。这种方式受光照、视角、背景等影响较大。识别技术所训练的模型让计算机识别的仍是“2D”物体,无法识别、理解真实的三维场景。从二维图像得到关于真实三维世界的推论是计算机视觉的一大难点。随着3D扫描技术和虚拟现实技术的发展,真实物体的三维模型的质量不断
学位
密封是抑制汽轮机、航空发动机、燃气轮机及压气机等透平机械流体泄漏、提升机组运行效率的关键部件。迷宫密封由于其结构的可靠性以及良好的密封性能被广泛应用于各类透平机械。随着机组运行参数的不断提高,密封引起的流体激振问题日益突出。开展迷宫密封流体激振机理及抑制方法研究具有重要的理论意义和工程价值。首先,采用计算流体力学(CFD)方法,对迷宫密封流体激振机理展开研究。计算分析了进口压力、转子转速、密封齿数
学位
CO2水合物作为良好的新型环保储能介质,在蓄冷空调、气体分离、消防灭火及油气开采等领域逐渐引起关注,对其生成特性的研究也显得至关重要。但采用传统实验的方法对CO2水合物的生成特性进行研究存在着种种限制,更无法从微观角度探究其生长细节。因此,本文引入分子动力学模拟,从微观角度对CO2水合物的生成特性进一步分析。本文首先通过Materials Studio软件建立合理的体系模型,选用大型的并行运算软件
学位
随着材料学的日益发展,大量先进的功能表面不断问世,其中梯度能表面在传热传质、抗冻除冰、石油化工、航空航天等领域具有广泛的应用前景,近些年受到业界的广泛关注。梯度能表面主要有微结构梯度和化学梯度两种类型,在本文中,我们分别以铜和PDMS(聚二甲基硅氧烷)为基底,设计了微方柱、微方孔结构的浸润梯度表面,从静态特性、动态特性、黏附特性三个方向,对微结构梯度能表面上液滴的浸润性进行了研究。论文首先研究了几
学位
全球经济、人口增长带来的环境污染以及化石燃料的日益枯竭让人类社会面临着一系列的能源问题。寻求廉价、安全、清洁且可再生的新能源成为现代社会的共识。其中,可储可输的氢能是一种洁净的可再生能源。在近几十年,氢能作为解决当前人类面临困境的新能源,成为各个国家广泛研究的对象。光催化技术则利用无穷无尽的太阳能和半导体催化剂加速纯水裂解成氢气和氧气这一过程。但是由于半导体催化剂的禁带宽度和内部载流子复合,导致较
学位
在充斥着海量数据的时代,为了从数据中获取更多潜在的、有效的、有价值的信息,数据挖掘技术以及前沿的机器学习算法应运而生。数据的类别不平衡现象广泛存在于实际应用中,法律案件的分类,信用卡欺诈检测和医疗诊断等众多领域都存在类别不平衡现象。分类器在处理这类数据时极易向多数类样本倾斜,往往表现出较差的分类性能。然而在实际情况下,相较于多数类样本,少数类的数据往往隐含重要信息,更值得被关注。因此,如何提高少数
学位
厌氧消化是实现有机固废减量化、稳定化和能源回收目的重要技术。污泥猪粪共消化可为污泥单基质消化补充有机质、改善碳氮平衡,不仅能解决我国市政污水厂污泥有机质含量普遍偏低、甲烷产量低的问题,也能充分提高污水处理厂现有沼气池的利用率、增加厌氧消化池的沼气产量;还能为中小型养殖户的粪污提供集中处理解决方案,降低分散运行沼气发酵设施的运维成本,达到共赢目标。但两者共消化处理的可行性和稳定性仍有待验证,需要对共
学位
当今世界,全球经济飞速发展,人类却面临着人口剧增、环境恶化等压力。尤其是全球变暖和臭氧层破环这两大环境问题,正威胁着人类的生存。而CFCs、HCFCs、HFCs类制冷剂的使用正是造成这两大问题的重要原因之一。CO2作为制冷工质具有环境友好性和优良的热物性,成为了最具竞争力的绿色制冷剂。但是CO2跨临界制冷循环中压力过高问题无法忽略,这严重阻碍其作为制冷剂的发展。 为了解决CO2跨临界循环的弊端,学
学位