基于RNN网络的人体姿态序列补全研究与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:lina452995
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,随着深度学习与人工智能在国民生产生活中的广泛应用,大量的智能监控设备开始普及。人是监控视频中十分常见的监控对象,但由于监控环境的复杂性,人体在运动的过程中很容易被周围环境物体遮挡,而被遮挡的部分会有大量的有效信息。因此,恢复不可见的人体姿态数据对有关政府部门分析公共场所中的人体行为,保证公共场所安全起着重要作用。本文研究人体姿态补全算法,即给定两端可见的姿态序列来合成中间缺失的序列。针对简单的步态(行走)数据和更为复杂的包含多种动作(例如交谈等)的数据,本文探索并提出了两种人体姿态序列补全方法。(1)Heterogeneous人体姿态序列补全网络模型:该方法探索使用异构的网络架构分别处理给定的前序和后序姿态序列,由基于RNN的前序姿态预测模块,基于1DCNN的后序姿态预测模块,以及基于全连接层的融合网络组成,同时引入Savitzky-Golay平滑层来解决预测第一帧不连续的问题。该方法对步态数据集CASIA具有较好的效果。然而进一步验证发现,它对于更复杂的动作数据集Human3.6M效果较差。于是探索并设计出(2)Bi-Directional注意力机制的人体姿态序列补全网络模型:该方法基于注意力机制对人体的运动进行了建模。在计算注意力时,不仅考虑了前序姿态序列编码后得到的隐藏状态,亦顾及到了后续姿态序列对目标姿态序列造成的影响。此外,为了充分地利用已知信息,对逆序姿态进行同样的基于注意力机制的姿态补全。最后将双向补全结果进行混合产生最后的目标序列结果。本文提出的两个方法以RNN网络为核心,在其之上增加CNN或者注意力机制,以期提高RNN网络在姿态补全上的效果。实验证明,RNN和CNN相结合形成的异构姿态补全网络,相比于仅基于RNN或CNN的网络具有更好的补全效果,在CASIA数据集上(该数据动作类型较为单一,仅包含正常行走动作)产生较好的补全效果。在将RNN与注意力机制相结合后,效果有更大的提升,能处理更为复杂的Human3.6M数据集。
其他文献
化学疗法是目前癌症治疗中应用最广泛的手段之一,但是传统的化学疗法因无法区别正常组织和肿瘤组织而导致严重的毒副作用,因此克服多重屏障成功将药物递送至肿瘤部位至关重要。目前,纳米技术的发展为药物的靶向递送提供了新的途径,但是大多数智能递药系统仅响应于单一的外源刺激或肿瘤微环境中内源性刺激进行药物释放,仍难以高效识别癌组织和正常组织。另外,对于一些复杂的多药纳米系统,大多数载体都无法实现药物的协同装载和
固体中的离子迁移行为是一种重要的物理化学过程,它不仅是许多电学材料常见的现象,而且还可能发生在高功率激光放大和高功率激光显示材料中。高功率激光在器件中产生的热效应不仅造成材料局部温度升高,还可能导致材料彻底损坏。热致组分离子迁移可作为材料损伤前的预警信息,其对材料的热输运性质也有非常重要的影响。相关的研究在光功能材料领域比较匮乏。此外,热致组分离子迁移导致微结构变化与光学性能变化之间联系的物理图像
超薄平板热管具有高导热率、高可靠性的优点,在手机电脑等便携式智能设备中得到广泛的应用。根据加工工艺的不同,可将超薄平板热管分为传统圆柱热管压扁型超薄平板热管及板壳焊接型超薄平板热管。受限于圆柱热管的尺寸,通过压扁工艺制造的超薄平板热管尺寸较小,可承受的热负荷较低。因此,为适应高功耗大尺寸的电子设备散热需求,本文设计了一种三层复合丝网吸液芯的超薄平板热管,并通过毛细强化处理提升了复合丝网的毛细性能,
注意力水平直接决定了学习和工作的效率。脑机接口(Brain-computer interface,BCI)是人机交互的一种重要方式,它为注意力的研究提供了一个新的方向。在注意力分析中,使用α、β、δ、θ、γ五个波段的功率谱估计(Power Spectral Density,PSD)作为注意力识别的特征向量,得出的分类准确率较为稳定但是不高,如何从PSD特征中选出最适合每位被试者的特征是提高注意力识
致病菌无处不在,而当它们附着在公共设施和一些医疗器械上时,会对人类健康产生严重影响。为了解决细菌粘附的问题,人们研究出许多抗菌材料,其中涂装涂层最为便捷、高效。而低表面能材料因可降低细菌粘附程度,并且具备良好的耐候性、耐老化性等优点,受到了广泛关注,将其与合成有机抗菌剂并用可协同增强表面抗菌能力。本文选用4,5-二氯-2-正辛基-4-异噻唑啉-3-酮(DCO)和二甲基十八烷基[3-三甲氧基硅丙基]
近年来,环境污染源头控制和固废资源化利用已成为国家重大战略需求。工业副产石膏是一种常见的工业固体废物,来源广泛、产生量巨大。其综合利用率低(不足40%),大部分仍以堆存为主,不仅占用大量土地、污染环境,还造成大量资源浪费。因此,工业副产石膏的无害化及二次利用对于环境污染源头控制和资源利用都具有重要的意义。红石膏和磷石膏是两类典型的工业副产石膏,目前最常见综合利用方法是经过预处理后替代天然石膏作为建
随着当今社会的快速发展,人民生活水平不断提高,人民对供电可靠性、电能质量提出了更高要求。配电网作为直接向人民供电系统,与我们每个人的生产、生活、学习等各方面息息相关,做好供电服务工作愈发重要。精确、快速的故障定位技术对保证电网安全稳定运行具有重要意义。近年来随着主动配电网中分布式电源与电动汽车的大量接入,对故障定位技术提出了更高的要求。基于广域同步相量测量单元的WAMS技术能够很好的满足当前形势下
苯并三氮唑(BTA)是一种重要的精细化工产品,广泛应用于医药、农药和高分子材料等方面,具有较高的使用价值。现阶段苯并三氮唑的工业生产多采用间歇结晶的方式,存在效率低、能耗高、难以实现粒度要求等弊端。针对这些问题,尝试将苯并三氮唑的间歇结晶工艺转化为连续结晶工艺,对苯并三氮唑的连续结晶过程进行了系统的研究,为工业化生产提供基础数据。首先,对BTA的结晶热力学性质进行了研究。采用重量法测定了273.1
在紫外光的照射下,光催化膜反应器可实现污染物与水的分离,具有绿色、环保、可持续运行等优点,被认为是最具发展前途的污水处理方式之一。但现有的光催化膜反应器构型中的光催化反应效率会因膜污染遮挡紫外光而降低,逆流光催化膜反应器可以从原理上解决这一问题,具有广阔的应用前景。熔融石英具有低热膨胀系数、良好的化学稳定性及较高的紫外-可见光透过性,常被用作功能光学部件的材料。利用熔融石英制备的具有紫外透过特性的
纳米纤维素(CNF)薄膜具有透明度高、绝缘性能优异以及环保可降解等优点,有望作为绝缘材料用于下一代“绿色”电子器件。目前制备纳米纤维素薄膜主要采用过滤法以及铸涂法,存在难以控制尺寸以及不能精细图形化等问题。本论文以喷墨印刷法制备纳米纤维素薄膜为研究对象,首先通过不同助剂优化纳米纤维素墨水的可印刷性;之后结合纳米纤维素墨水的特性开发相应的高均匀薄膜制备工艺,从而实现直接图形化的高性能纳米纤维素绝缘薄