【摘 要】
:
随着智能化时代的逐步到来,人体行为识别作为诸多现实应用和需求的关键技术,己成为当下计算机视觉领域最热门的研究方向之一。早期的研究工作,主要围绕着2D相机采集到的RGB视频进行时空特征的提取。随着深度相机的问世,使得行为识别问题可以在三维空间里寻求解决方案,即基于3D骨骼的人体行为识别。相比RGB视频,3D骨骼数据的优势在于对光照、背景、遮挡等干扰不敏感且数据维数较小,因此基于3D骨骼的人体行为识别
论文部分内容阅读
随着智能化时代的逐步到来,人体行为识别作为诸多现实应用和需求的关键技术,己成为当下计算机视觉领域最热门的研究方向之一。早期的研究工作,主要围绕着2D相机采集到的RGB视频进行时空特征的提取。随着深度相机的问世,使得行为识别问题可以在三维空间里寻求解决方案,即基于3D骨骼的人体行为识别。相比RGB视频,3D骨骼数据的优势在于对光照、背景、遮挡等干扰不敏感且数据维数较小,因此基于3D骨骼的人体行为识别具有重要的研究价值。
在近几年的研究中,基于深度卷积神经网络的3D骨骼行为识别的方法层出不穷,并取得了突破性的进展。但是,如何通过卷积神经网络来利用人体骨骼数据的拓扑结构信息、如何充分的挖掘骨骼数据中多种特征所包含的潜在关联,以及如何加强对视角变化的鲁棒性等方面的研究尚待进一步深入。因此,本文从多特征、多视角以及多特征之间的潜在关联三个方面,展开了一系列研究。
本文的主要工作和特色如下:
(1)根据人体的拓扑结构设计了骨节特征,并结合骨骼节点的空间位置特征和时间轨迹特征,共同描述一个骨骼视频。
(2)基于欧拉角旋转公式,提出了多视角特征变换算法,通过模拟和综合多个视角下的人体行为信息,来提升对视角变化的鲁棒性。
(3)本文提出多特征配对融合网络,来充分利用多种特征彼此之间潜在的关联。同时,为了进一步提升模型的泛化性能,提出了多任务学习配合集成学习的结构,训练模型和结果集成。
最后,本文综合上述方法提出了三分支卷积神经网络(3SCNN),并在主流的人体行为数据集上进行对比实验和消融实验,充分验证了本文方法的有效性。
其他文献
菲律宾蛤仔(Ruditapesphilippinarum),是我国重要的海产经济贝类之一,围绕其免疫功能进行研究,培育优良的蛤仔品种,对贝类遗传育种有重要意义。 本研究围绕菲律宾蛤仔,利用生物信息学和分子生物学手段初步研究了补体C3分子集齐亚型的序列结构、表达特性和免疫功能。利用生物信息学手段对实验室已有的蛤仔全基因组数据进行挖掘,获得5个菲律宾蛤仔补体C3亚型基因(分别命名为RpC3-1、Rp
炎症反应是机体抵御外源病菌感染或修复内源组织损伤时恢复内环境稳态而采取的免疫调节反应。脊椎动物中的研究表明,适度的炎症反应可以加速机体清除入侵的病原体并迅速修复已损伤的组织,但是过度的炎症反应则会导致机体内环境稳态失衡,最终导致机体出现炎性疾病,然而软体动物中关于炎症反应的研究仍处于起步阶段。本研究以软体动物长牡蛎(Crassostrea gigas)为研究对象,采用分子生物学、免疫学和细胞生物学
为应对环境污染、能源危机以及气候变暖等问题,可再生能源发电(renewable energy generation, REG)规模化接入将成为未来配电系统的主要特征。一方面,规模化的REG接入可满足本地负荷需求,对配电系统的可靠性与供电能力均有支撑作用。另一方面,配电系统的潮流分布将发生极大的改变,功率倒送与电压越限等问题出现的可能性也大为增加;而REG的功率具有强不确定性,进一步增加了配电系统分
结构光场是具有独特的相位、偏振和振幅分布的空间光束。其中,柱矢量光束的光束横截面偏振态具有柱矢量对称分布特性,在材料加工、光通信、显微技术等领域具有重要的应用前景。目前,研究人员已经可以通过不同方法产生柱矢量光束,但是对于柱矢量光束在时间域、频率域等多个维度的调控研究相对较少。伴随多维度时空结构光场的应用需求,研究多维度时空结构光场的产生及其时空特性调控具有重要意义。 柱矢量光束一般可以通过在激
传统的方式操控光的波前,主要根据是惠更斯-菲涅耳原理:波前的每一个点都可以被认为是次级球面小波的源,它以光速向前展开,而所有这些第二小波的切向表面构成了新的波前。这些光学器件包括棱镜,透镜螺旋相位板,这些器件的主要特征是,相位的积累依赖于光的传播路径。而这种传统的光学器件往往体积较大,较为笨重,特别是外形不规则的光学器件,对于光学集成和微型化来讲,几乎是件不可能的事情。而超表面,即缩减维度的三维超
随着人工智能技术的快速发展,研究具有辅助驾驶系统的智能汽车逐渐成为很多高科技产业和汽车制造业的一个重要研究方向。目标跟踪技术在智能辅助驾驶领域起到不可或缺的作用,辅助驾驶系统可以帮助驾驶员了解周围环境,对行驶过程中的潜在危险做出预警或采取相应的辅助驾驶措施,从而减少交通事故的发生。目前辅助驾驶跟踪算法存在目标跟踪丢失和误跟踪等问题亟待解决,因此本文研究基于多特征信息融合的目标跟踪方法具有重要的理论
随着电力电子技术的日臻完善,电机驱动系统被广泛用于交通、新能源发电和家用电器等各个领域,三相逆变器在电机驱动系统中起着电气能量交换的重要作用,提高其可靠性和安全性变得尤为重要。据研究发现,逆变器故障主要为IGBT故障,IGBT故障分为短路故障和开路故障,短路故障一般通过硬件电路将其转换为开路故障。逆变器发生开路故障,若不及时确定故障IGBT的具体位置并处理,其余IGBT将会流过很大的电流造成电机停
随着化石能源的日渐枯竭,世界各国对风能等可再生能源的开发力度逐渐增加,当风能发电总量在电网中的比例较大时,电网电压的不平衡扰动影响着风力发电系统的稳定运行。网侧变流器作为风力发电系统与电网直接连接装置,在电网电压不平衡扰动时,对其控制策略的优化可实现风力发电系统的稳定运行。现有的控制策略主要采用两相旋转坐标系作为设计基础,因为模型之间需要频繁的坐标变换和变量之间存在着强耦合现象,因此制约着控制策略
随着现代战场环境的日益复杂化,提升武器系统的环境适应性和探测性能是一个重要的研究方向。复合探测技术是解决单一体制探测装置抗环境干扰能力差、目标识别概率不高的有效手段。开展近程激光/红外复合探测装置的工作原理和目标识别方法的研究,具有重要的理论和工程意义。 本文针对复合探测装置在近场环境下对装甲目标识别问题,研究线阵激光/红外复合探测机理,解决干扰环境下以及多角度弹目交会条件下装甲车辆的目标识别问
传统的分类方法通常不能解决在学习阶段之后可能出现新类别的场景。零样本学习通过提供新类别的高级描述,在不需要训练实例的情况下识别新类别。在日常生活中,零样本图像识别能够解决图像自动标注问题,还可以应用到智能视频监控,人体行为检测和检测新的生物物种等场景,因此对零样本图像识别进行研究是非常有意义的。 针对目前零样本学习的研究现状,考虑到现有零样本学习方法没有充分考虑模型在标签空间上的表现,在学习图像