基于层次化深度特征融合的人体动作识别

来源 :中国石油大学(华东) | 被引量 : 0次 | 上传用户:lfhua2002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体动作识别技术是利用计算机模型识别出视频中人的动作的技术。近年来,由于动作识别技术在视频监控以及短视频审核等领域的广泛应用而受到了越来越多的关注。视频包含了丰富的视觉表征,有效的空间特征和时间特征对动作识别任务至关重要。目前,双流卷积网络在动作识别任务上取得了巨大的成功。然而,此类方法并没有考虑到空间动作细节信息的丢失、时空特征的提取,以及由于背景杂乱和相机抖动而造成光流噪音的问题。针对以上问题,本文的主要研究工作如下:本文利用基于编码-解码器的堆叠空间网络在高级语义标签的监督下获取了多个层次及分辨率的空间特征,并以端到端的方式通过堆叠空间融合层聚合了多层深度特征来减少空间动作信息的丢失。在此基础上,本文提出了基于层次化深度特征融合的精细空间网络,结合了堆叠空间网络以及传统的空间网络进行动作识别。实验证明,本文提出的精细空间网络学习到的视频特征包含了高级语义标签特征和局部空间动作细节信息,以及在UCF101和HMDB51数据集上的识别准确率比传统的空间网络方法提高了2-3%。为了能够在空间网络中捕捉到时空特征,本文提出了具有表征差异的空间注入网络。利用表征差异模块计算相邻输入RGB图片的高级语义特征差异,并通过辅助损失对空间特征构建时间辅助约束,从而获取时空特征。实验证明,本文提出空间注入网络能够捕捉包含静态和动态信息的时空特征,并在UCF101和HMDB51数据集上的准确率比传统的空间网络方法提高了1-2%。针对光流噪音的问题,本文提出了基于自注意力机制的时间注入网络,在传统的时间网络中利用自注意力机制和辅助损失,使得在动作识别的过程更加关注主体活动区域,尽可能地削减背景杂乱和相机抖动对动作识别的影响。最后分别结合了本文提出的精细空间网络、空间注入网络以及时间注入网络构建双流网络进行动作识别。实验证明了本文提出的方法的优越性,并在HMDB51数据集上本文提出的网络相对比传统的双流卷积网络高出2-3%。
其他文献
员工的工作绩效表现直接影响着企业的效益,提升企业内部员工的工作绩效是企业在激烈的竞争环境中能够脱颖而出的关键,而人力资源质量也已经成为企业核心竞争力的重要标志。精益管理的应用除了要求企业革新传统的员工管理思维外,还要求企业因地制宜地制定具有针对性的精益管理模式,其对于挖掘员工潜力、优化员工绩效管理体系和提升企业经济绩效具有重要的现实意义。本文通过对ZJ公司的实地调查,发现公司当前在尝试应用精益管理
学位
TL公司是一家专业生产非公路矿用车的高新技术企业,国内市场占有率达40%,同时其产品也远销海外,已成为行业的领军者。该企业于2015年在新三板挂牌交易,目前已经进入规模化发展阶段,在此过程中企业原有的绩效考核制度已不能满足企业发展需求,急需建立一套与其战略目标相符的、完善的、科学合理的业绩考核体系。本文以TL公司绩效考核制度为研究对象,发掘原有绩效考核体系的优势与不足,运用平衡计分卡完善公司整体绩
学位
随着计算机视觉和图形图像技术的发展,三维模型在各个领域得到了广泛的应用,三维重建技术成为研究热点。重建数字岩心能够促进地质勘探和油气开采工作,对经济发展有着重要的意义。针对传统的数字岩心建模方法建立的数字岩心模型尺寸单一,分辨率固定,导致数据量过大,难以维护等问题,提出一种分层四叉树结构,基于分层四叉树构建多分辨率数字岩心,并在面模型生成、岩心切片模板匹配等方面进行优化,同时据此设计编写数字岩心重
学位
随着电子商务和网络购物平台的蓬勃发展,在线商品购物在人们的生活中显得至关重要,因此服装市场潜在着巨大的商业价值。在线商城中的服装类别繁多且数量巨大,目前存在的电商购物平台中,大部分还是通过传统的方法来检索图像,比如关键字或文本等,此类方法的本质是以文搜图。然而面对海量的服装图像数据,人工标注关键字进行服装检索的方法渐显疲态,如何有效地对网络服装图像进行检索显得尤为重要。和简单的文字描述相比,服装图
学位
胆石病是世界上发病率与死亡率增长速度最快的肿瘤疾病之一,其类型和形态多种多样。原始胆石病CT医疗图像具有胆结石病灶以及肝、胆等重要器官,目标多,并且单病人CT图像数量繁多,传统的医生面诊方式单一,造成了误诊漏诊严重的现象,极大地阻碍了胆石病医学临床领域的正确诊疗。当前,智慧医疗领域发展迅速,虽然市场上已经出现了一些具有医疗图像识别功能的产品,但是患者用户无法随时携带,应用地域较小,并且未达到商业化
学位
长期以来,因人体动作的复杂性和多样性,人体动作识别一直是被广泛关注的研究热点。现有的动作识别方法在单一特定场景中效果较为突出,但应用于复杂场景中时因视频景深、天气、分辨率、光照、远景目标过小、俯视自身遮挡以及干扰物遮挡等因素的影响,很难准确地提取到人体的全部动作特征,识别效果急剧下降,复杂场景下的人体动作识别成为了一个亟待解决的难题。针对以上的问题,结合海上采油平台的实际场景,本文设计了一个复杂场
学位
<正>德国诗人荷尔德林曾说过:“人,诗性地栖居在大地上。”这句话表达了对于人类生存价值与意义的深层次思考。这种诗意栖居,亦为教育的本真追求,表征是把儿童放在中央,坚守儿童本位,倡导儿童情怀,塑造美好的心灵和人格,引导儿童成为更好的自己。蔡亚老师就是这样一位充满儿童情怀的知性老师,她对儿童世界发自内心的喜爱,她用“真善美”去感召儿童,言情明志,和着彼此的心跳生发心灵的舞动,谱写了与儿童共同的节拍与旋
期刊
在“反比例函数图象与性质”的探究过程中,把“解析式特征”与“图形特征”紧密结合.通过先“想一想”再“画一画”的教学环节,紧紧抓住反比例函数解析式“定积”特征,“由数及形”推理得到反比例函数的图象“特征”,观察图象“特征”归纳得到反比例函数的性质.尝试在教学过程中通过不断设问、追问,引导学生不断反思、深入思考,在学生独立思考、自主探究和合作交流中培养学生推理能力和几何直观等核心素养.
期刊
在党建引领基层治理的政治话语和理论创新要求下,基层治理受趋同、规范、竞争与模仿等同构压力影响,少数治理主体为寻求政治认同、规避责任风险与获取竞争优势等,采取名实分离、以“迹”为“绩”、以“创”代“行”和悬浮服务等策略,引致党建引领基层治理的“形式化”。同构压力下基层治理以党建目标替代治理目标、以话语创新替代制度创新的目标替代行为,及由此带来的制度耦合困境,是党建引领基层治理“形式化”的根源。要化解
期刊
人民币国际化是一个长期的历史发展进程,在“一带一路”的大背景下,人民币国际化的发展既有美好的前景,也有诸多瓶颈因素。因此,在“一带一路”背景下,系统总结美日发达国家货币国际化的有益经验、分析当前人民币国际化的现状、决定因素,给出未来推进人民币国际化的具体对策建议,具有重要的理论价值和现实意义。2008年金融危机爆发使各个国家意识到过度依赖美元是现有国际货币体系的一大弱点。尤其是在当今世界经济环境比
学位