基于骨骼关键点和改进ResNet的人体行为识别研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:zhangyongqihx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在智能安防、虚拟现实和安全驾驶等机器视觉领域,人体行为识别发挥着越来越重要的作用。然而,由于实际图像中背景复杂、人体形态各异,人体行为的准确识别具有较高难度。本文结合人体骨骼关键点定位及深度学习技术,研究针对二维静态图像中人体行为识别技术。论文主要工作如下:1.分析并研究了现有人体行为识别网络以及人体关键点定位网络技术,基于现有方法的特点,本文提出了融合关键点定位的人体行为识别思路和框架,将人体行为识别视为一种二维图像分类任务,并利用多任务网络形式,将关键点定位网络输出引入到主干分类网络中,辅助及强化分类,提升行为识别准确率。2.采用ResNet-50和CPN网络分别作为主干行为分类网络以及关键点定位的基本网络并进行改进。为了进一步提升网络分类性能,论文在主干网络中加入并改进了 TridentNet三叉戟网络。TridentNet利用空洞卷积和权值共享的特点,可以使网络在扩大感受野的基础上,起到控制参数的目的。通过对三叉戟网络的改进,使之更加适应分类网络的结构,更好地融入ResNet-50网络。3.提出了一种引入CBAM注意力模型的CPN级联金字塔网络,以解决多人关键点定位任务中因为背景噪声、遮挡以及光线环境导致的准确率偏低的问题。CBAM可以自主学习特征图谱通道间以及空间各个位置对于结果的重要性程度。通过在CPN网络最深层处引入注意力参数,进一步提高CPN对于不确定关键点的定位准确率。4.对本文模型和算法进行了多方面的实验和测试。针对主干分类网络,本文设计了原ResNet-50、加入TridentNet的ResNet-50以及三分支网络在四种数据集上的对比实验,实验证明,改进后的ResNet-50网络参数量更少且收敛更快速;针对人体关键点定位网络部分,本文设计了对比实验以及消融实验,分别将原CPN网络与加入CBAM注意力模型的CPN网络,以及原CPN与四种不同的关键点定位网络在MSCOCO数据集上进行比较,结果显示改进后的CPN网络在多人关键点定位任务上达到了更高的准确率;针对人体行为识别总体框架,本文同样设计了两种实验,分别比较了融合与未融合关键点信息的行为识别网络,以及改进后网络与五种行为识别网络在Pascal Voc数据集上的准确率,并在此基础上得出混淆矩阵,经多方面验证得出,改进后的融合了骨骼关键点信息的人体行为识别网络能够更加准确的识别出图片中的人体行为。
其他文献
信息技术的快速发展使人们需要处理的数据量以及数据维度日益增大,如何快速分析庞杂的数据,并从中获取人们更感兴趣的信息成为一种迫切需求。Skyline查询作为一种有效的数据
本文采用溶胶-凝胶法制备了 0-40mol%Gd3+,3 mol%Er3+ Y2O3白色粉末状材料,通过X射线衍射(XRD)、SEM图谱对Y2O3:Er3+,Gd3+材料的形貌、尺寸进行了表征。980nm泵浦激发下根据
研究背景国际骨质疏松学会明确指出,如果人们采取健康的生活方式,就可以减少骨质疏松的发病风险,积极的防治行为是低投入且高效益的手段。骨质疏松是公认的多因素结果,不同的人群发病率通常并不相同。在国内众多学者的研究中,关于骨质疏松的影响因素分析存在差异,可能是调查的城市环境与经济发展不同、调查的对象保健意识有高有低或者有调研存在选择偏倚等原因导致的结果。研究目的分析广州市城乡结合部居民患病现况以及确定骨
性能和可靠性分析是至关重要的,特别是用于核电厂事故后监测的仪表的性能和可靠性分析。摘要包络法是严重事故下仪表可靠性评估中常用的方法,但它不能涵盖所有可能的环境条件。以往的研究也对基于简化电路模型仿真的仪表可靠性进行了探讨,但没有充分利用元器件的质量信息和环境条件,更多地是侧重于定性分析而非定量分析。由于上述方法的局限性,提出了一种综合的方法,包括不确定性分析、温度扫描分析、失效模式和有效分析(FM
研究目的使用IL-35基因修饰的间充质干细胞(Mesenchymal stromal cells,MSCs)与CD4~+T细胞体外共培养,探索IL-35基因修饰的MSCs(IL-35-MSCs)在体外对CD4~+T细胞的调节作用是
随着移动互联网及智能设备的普及,Android系统所占市场份额居绝对领先地位,Android系统恶意软件数量也日益增加,Android手机病毒感染用户数呈爬坡式增长,严重危害着消费者的
西瓜(Citrullus lanatus)是世界重要的经济作物之一,在我国广泛种植。干旱、盐害、高温等胁迫是影响其产量和品质常见的三大非生物因素,三者均会在一定程度上造成使细胞水分匮乏,从而对西瓜产生渗透胁迫。虽有大量研究表明,海藻糖作为一种重要的渗透调节物质,可以有效提高多种植物的抗逆性。但海藻糖对西瓜生产中经常面临的渗透胁迫是否有缓解作用?渗透胁迫下西瓜通过什么信号通路启动海藻糖合成?围绕以上
将旧水泥混凝土路面视为刚性基层在其上加铺沥青面层,一方面可以充分利用原有路面结构强度、节约当地建筑材料,另一方面可以提高路面的行车舒适性,减少刚性路面造成的行车颠簸、噪音大、养护维修困难。然而,由于沥青面层与水泥面层之间力学性能的差异,在行车荷载和温度荷载的共同作用下,加铺层很容易出现自下而上的反射裂缝。在旧水泥混凝土面层与沥青混凝土路面之间设置应力吸收层,可以改善路面结构应力状态,有效的防止和延
古河道是地下水富集带,有时也是石油天然气的储层,查明河道是油气勘探的主要任务之一。然而针对地下介质在空间分布上通常呈非均质性这一特征,其河道识别是一项富有挑战且极
传统行业泛指以劳动密集型、加工制造型为主的行业,典型的有制造、纺织、化工、机械等,在我国社会经济中发挥着非常重要的作用,不仅是地方财政创收的主导性产业,也是解决区域