基于Kinect骨骼数据的人体动作识别研究

来源 :山东中医药大学 | 被引量 : 0次 | 上传用户:huangweiririri
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目的:对于人体动作识别现实性问题,不同位置的相机捕获目标空间状态具有差异性,单视角下的人体动作识别模型的鲁棒性不足,且类间人体各区域运动幅度与贡献度不同,如何突出人体局部运动状态也是影响人体动作识别的关键性问题。本文采用了Kinect深度相机获取的骨骼数据进行人体动作识别研究,对分块化彩色编码骨骼数据在不同视角状态下的动作识别及多角度特征融合进行了实验研究。方法:本文首先对骨骼数据进行了预处理操作,提出了一种基于模板匹配方法的视频序列人体动作轨迹捕捉算法3V-MHIs,对深度相机捕捉的20个骨骼关节点空间坐标进行骨骼框架三维重建与分块化染色,分别使用三视角输出得到三个Skl-Color序列,通过帧间差法对通道分离后的Skl-Color序列进行R、G、B单通道运动历史图获取,最终进行通道合并获得RGB-MHIs。提出了一种双流异构网络模型,通过Res Net与Conv LSTM组成的异构模型分别对骨骼数据空间、时间特征进行学习,并对Conv LSTM模型不同层数和隐含层个数进行实验。增加特征融合模块将Res Net模型得到的特征采用三种融合策略的四种方法:均值化、最大值化、两种通道堆叠法进行实验对比;基于空间特征与时间特征差异性,异构模型采用串联的方式进行融合,作为模型的最终输入数据。结果:本文在人体动作识别公开数据集UTD-MHAD上进行了实验研究。在单视角Res Net模型中,正视角RGB-MHIf达到了最高的识别准确率(92.77%),顶视角输入模型相对较低(90.47%),其原因为基于三维空间映射的顶视角会产生一定量的信息堆叠现象;随后对三种同构Res Net-50模型进行特征融合,分别获得了96.18%、97.18%、96.65%、96.65%的识别准确率;实验发现采用四层隐含层个数为64的Conv LSTM模型可以达到相对较好的识别准确率(91.01%);最后通过时空特征融合的双流异构模型在UTD-MHAD数据集上最终识别准确率达到了98.58%。结论:本文针对多角度下目标状态不同问题在运动历史图与深度运动图基础上提出了3V-MHIs算法,良好的保留了人体局部运动特征。双流异构模型采用的Res Net结合Conv LSTM对于人体动作的图像紧密性空间特征和多帧稀疏性时间特征进行了建模分析,并在UTD-MHAD数据集上达到了较高的识别准确率,对于后续研究采用骨骼数据或异构网络模型进行人体动作识别提供了一定的参考。
其他文献
从存世的唐以前医学文献入手,将明确标有“扁鹊曰”“扁鹊云”或标注为“扁鹊”的资料加以搜集、整理,发现在《脉经》《中藏经》《吴普本草》《黄帝内经太素》《备急千金要方》《千金翼方》等9种著作中,有以“扁鹊”为标题的专篇文献6篇,散在的扁鹊文献资料148条,内容包括医理、诊法、腧穴、针灸、本草、方剂等。通过分析研究,认为:第一,扁鹊医学文献并未完全亡佚,唐以前文献中散见的资料,虽不能显示扁鹊医学全貌,但
学位
目的:近年来以神经网络为基础的深度学习在计算机视觉、自然语言处理等多个领域取得快速发展,现在已成为人工智能的核心技术。自动编码器(Auto-Encoders,AE)作为深度学习中无监督算法的代表之一,具有网络结构简单、以神经网络为支撑等优点,能够从大量无标记的数据中自动提取特征。目前基于传统自动编码器所改进的各种自动编码器虽在不同方面取得一定进展,但仍普遍存在特征表达能力不强、解码损失过多、模型学
学位
本文运用文献学、归纳总结的研究方法,对喜多村直宽(1804-1876)的生平事迹及其著述成就进行总结,并着重对《金匮要略疏义》的校勘、注释与临床特色展开系统研究。喜多村直宽在校勘、考释及刊刻古医籍方面厥功至伟,对日本汉方医学的发展产生深远影响。其一生著述等身,尤为推崇仲景学术,曾参与《医心方》《医方类聚》《太平御览》等书的校勘及刊刻工作。其晚年所撰《金匮要略疏义》一书,以《古今医统正脉全书》本为底
学位
<正>李志川(以下简称李):王老师,《创作评谭》杂志约我来给您做访谈,可能是因为我俩是湖口老乡,有着水土根源上的亲近;又曾合作过两部电视连续剧,在创作理念上也有共识;我虽离开江西多年,但我俩一直保持联系,交往频繁,希望我能更深层次地了解您的创作生活。王一民(以下简称王):除了你说的以上原因之外,我想还有你虽然小我些年纪,但却是正在我创作旺盛时期接触文学并开始创作的,对当时我的创作一直有所关注。你是
期刊
目的:超声设备具有操作简便、安全、迅速、可实时成像等优点,被广泛应用于各部位临床诊断。对超声图像的自动辅助诊断能够有效提高医生的判读效率,并降低主观方面带来的影响。当前,基于深度学习的智能图像处理算法在医学图像处理等计算机视觉任务上表现优异,在一些任务的精度上实现质的飞越,为真正实现智能化诊断提供了更多的可能性。超声医学在临床上的应用十分广泛,本研究立足于乳腺癌超声图像辅助诊断及胎儿头围周长测量两
学位
目的:膀胱癌是泌尿系统常见的恶性疾病之一,其病因复杂,晚期死亡率较高,严重威胁人们的生命健康。及时并准确地发现肿瘤位置是诊断膀胱癌至关重要的一步。通常情况下,医生通过肉眼观察患者的膀胱MRI图像,进行疾病的初步诊断。但是,膀胱MRI图像自身存在肿瘤区域较小、边界不清晰等问题,且人工阅片的效率较慢,巨大的工作量使得医生产生疲劳感,易出现误诊漏诊情况。为提高膀胱癌的诊治效率和准确性,本文研究设计了一种
学位
目的:乳腺癌作为目前全球发病率最高且死亡率排名第五的癌症,受到了全社会的高度关注。医学影像检查是临床上乳腺癌早期筛查及诊断最重要的手段,准确的影像学诊断需要医生具备丰富经验累积,且诊断过程中会耗费医生大量的时间和精力。随着人工智能技术的发展与快速进步,深度学习等智能算法可提取医学图像中包含的大量语义信息,近年来被逐渐应用于医学图像处理方面,并体现出良好的技术优势和应用价值。超声影像是乳腺癌筛查手段
学位
目的:心脏疾病成为人类健康的主要杀手之一,心电图(Electrocardiogram,ECG)反映了心脏的健康情况,但识图工作加大医生工作负担。因此心电图的智能化分析研究有助于减轻医生负担,提高诊断效率,使患者能够得到及时治疗。方法:在命名实体识别与实体关系抽取实验中,本文采用BIO标签体系对心电报告进行标注,不仅标注出报告文本中的实体,也标注各实体间的关系。本文设计了在双向门控循环单元后加入条件
学位
报纸
<正>小浪底工程是黄河治理保护的关键性控制工程,是国家"八五"期间开工建设的国家重点工程,部分利用世界银行贷款、建设管理模式全方位与国际惯例接轨的大型水利枢纽工程。小浪底工程于1991年9月1日开工,1999年10月25日下闸蓄水投入初期运行,2009年4月7日通过国家发改委会同水利部组织的竣工验收。我大学毕业即到小浪底,全程参加了小浪底工程建设。2008年5月,我借调交流到水利部建设与管理司,专
会议