基于时频域特征和多头卷积LSTM网络的人员连续动作识别

来源 :常州大学 | 被引量 : 0次 | 上传用户:mgqzhineng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,智能手机内置的运动传感器对人员动作进行识别成为可能,常应用于家庭长辈动作健康监测,儿童安全保护等领域。在这些使用环境下,基于惯性传感器的人员动作识别方式具有其他人员动作识别方式不具有的优点,例如难以长时间被模仿,保护个人隐私,便于分析检查等。但是,针对日常生活中连续动作类型的信号时,对其进行精确分割和识别的效果仍略有不足。大多数的研究局限于时域特征和简单频域特征,而且仅对独立的单个动作进行识别,同时面临缺乏标签数据的关键挑战。传统人员动作识别方法准确率一般,以及与浅层学习算法相比,深度学习架构的计算和系统资源成本需求更高。与传统技术相比,卷积神经网络等深度学习架构有显著的更强大的性能,近年来被广泛应用于人类动作识别。本课题研究内容针对来自惯性传感器的加速度计和陀螺仪的连续动作信号分割和识别,引入梅尔倒谱系数特征,并提出基于多头卷积和注意力机制的模型识别算法。本文主要进行了如下的几个方面研究:第一,从语音信号识别方法引入梅尔倒谱系数特征等频域分析方法,对智能手机运动传感器信号数据进行人员动作识别,着重开发人员进行各类动作产生的时间序列的频域特征,解决时域系统容易忽视特征和其他有效信息的问题。第二,提出了一种基于多头卷积的人类动作识别模型。这个模型包含三个卷积头,每个头内部设计一个二维长短时记忆(Long Short-Term Memory,LSTM)卷积网络模块,利用从传感器数据中提取的特征来识别各片段动作类别。CNN-LSTM思想的进一步扩展是执行CNN的卷积作为LSTM的一部分。这种组合称为卷积LSTM,简称Conv LSTM,像CNN-LSTM一样也用于时间序列。第三,为了在不大幅提高系统运行成本基础上,进一步提高模型动作识别的准确率,在每个头内部设计注意力模块,并在注意力模块中引入了一种名为挤压激励块的架构组件,该组件可以无缝集成到任何卷积模型中。挤压激励块通过全局平均池提取出空间依赖关系来学习特定的通道描述标签,用于重新校准特征图以强调有用的通道。该模型在UCI公开数据集随机抽取测试样本,整体识别准确率最高达到94.6%。与其他深度神经网络结构相比,只需要更少的计算参数。
其他文献
河流是人类的主要水源之一,对人类的生产生活有着重要意义。溶解氧是河流水质的主要组成部分,也是衡量水质的重要指标之一。利用历史水质数据,准确预测出河流未来一段时间内的溶解氧浓度,对环境政策制定,完善河流水质管理具有重要的现实意义。目前河流溶解氧预测模型的特征多为人工提取,缺乏特征组合全局搜索能力,针对这一问题,提出一种提升溶解氧预测精度的特征选择方法。首先,使用随机森林计算各项水质指标的特征重要性分
学位
几何直观能力对学生的数学学习具有重要意义,它是认识与理解数学的基础。实践证明,在概念教学、算理教学以及解题教学等环节中渗透数形结合思想,能有效地提高学生的几何直观能力,为学生核心素养的形成奠定基础。
期刊
<正>几何直观可以将复杂的数学问题变得简单易懂,有助于学生探索解决问题的思路和预测结果。简单来说,几何直观就是通过几何的手段将问题可视化,以便更好地分析问题。所以,几何直观既可以成为教师教学的一个重要工具,也可以成为辅助学生学习的有效工具。但是,在实际教学中可以发现,学生不喜欢利用几何直观去分析和解决问题,主要原因是教师并不重视这种解题方法,没有培养学生的应用意识,学生也不习惯使用这种方法。因此,
期刊
人类行为识别是计算机视觉领域的一个活跃的研究领域,包括公共安全监控、生物识别、人机交互、体感游戏和自动驾驶等领域。本文从人体运动特征表示和时空图卷积网络等方面对人体行为识别做深入研究。图卷积网络(Graph Convolutional Networks,GCN)在骨架视频动作识别方面取得了显著的性能。然而现有的基于GCN的方法大多是通过增加模型参数来提高性能。这些模型的训练需要大量的数据,所以它们
学位
随着城市智能化水平的提高,轨迹预测技术能准确预测行人未来轨迹,用以减少碰撞避免人车冲突。现有的轨迹预测技术虽然能实现简单场景内的行人轨迹预测,但在面对人员密集,干扰因素众多的复杂场景时,依旧存在着诸多问题和挑战。本文主要研究复杂场景下人与环境交互过程的内在逻辑,推测行人可能的运动目标和通过路径,在此基础上实现对行人未来轨迹的精确预测。本文提出三种行人轨迹预测器:一种学习潜变量的对抗性轨迹预测器、场
学位
再认记忆是人类重要的认知能力之一,脑电图的出现使得再认记忆的研究迈入了新的阶段。但目前关于再认记忆的脑电研究,大多着眼于事件相关电位(ERP)和行为数据分析,并未从脑功能网络角度研究再认记忆。本研究使用128导联EGI脑电采集系统,采用新旧图片再认范式,共记录了36名医学生与37名非医学生的事件相关脑电信号,研究两组受试者在对新旧图片进行再认时的大脑功能连接差异。首先,将数据分为8个子频带,采用相
学位
许多智能手机和智能可穿戴设备已经配备了多个传感器(如加速度计和陀螺仪),传感器数据更加易于获取。凭借这些优势,基于可穿戴传感器的人类活动识别近年来受到了越来越多的关注。目前,大多数的研究都是单一基本动作的识别,忽略了过渡动作的影响;对于动作的识别提取单一的统计特征,依据经验选取分类器,因此针对不同动作选择特征以及分类器的问题,提出了多特征以及多分类器的分类模型;还针对小样本的传感器数据提出自注意力
学位
抑郁症的传统量表诊断方法存在患者否认、主观偏见等缺点,同时药物、物理和心理治疗方法存在副作用大、记忆损伤严重、过分依赖医师能力等缺点。因此,无创、便携的脑电(EEG)测量技术,结合高沉浸感的虚拟现实(VR)技术,对于抑郁症的分类识别和康复训练研究具有重要意义。在抑郁症分类识别方面。首次采用相干性虚部(IC)构建Alpha、高Beta、Gamma频段的脑网络,进行连通性分析,并提取传统图论特征集。同
学位
随着我国公共基础设施的快速发展,混凝土作为建筑物的基本原材料被广泛使用,裂缝作为混凝土设施最为常见的结构性病害成为建筑工程质量中健康检测的重要一环。传统的检测方法,如人工检测,存在检测效率低、检测结果不准等问题;基于数字图像处理技术的检测算法,存在需要人工设计特征、模型稳定性差、易受环境干扰等局限。基于此,本文着力于研究基于计算机视觉的智能裂缝检测算法。本文选用具有编码器-解码器以及跳跃连接结构的
学位
行人轨迹预测是自动驾驶技术的重要组成部分,其在智能运输、视频监控、智能安防等领域有着潜在的应用价值。由于行人之间存在着复杂的交互行为,行人轨迹预测仍是一个挑战性的问题。研究者为有效建模行人间复杂交互,提出将行人看作图中节点建立图网络,应用图神经网络学习行人之间交互影响,提高行人轨迹预测精度。然而,将图神经网络作为预测网络的隐层,图神经网络容易出现过平滑,网络难以训练等问题。本文针对上述问题通过分析
学位