深度神经网络的快速发展,有力地推动了计算机视觉方面的研究。越来越多的计算机视觉工作引入深度神经网络,并取得了跨越式的发展与进步。基于计算机视觉的无人驾驶、人脸身份认定、虚拟现实等快速进入人们生活中,不断便捷和丰富现在人类的生活方式。对视频中人体动作识别,可以帮助理解视频内容,可以广泛用于视频监控、人机交互等中。本文主要工作是人体骨架动作识别网络鲁棒性验证与性能提升。摄像头、手机等端设备其存储空间、计算资源有限,人体骨架信息的存储、计算开销小,基于人体骨架的动作识别更适合端设备。目前人体骨架的动作识别取得了一定发展,但其鲁棒性一直没有被验证。本文提出了基于分类概率空间正交的全局扰动方法,并在此基础上发展了基于蒸馏的替代模型攻击方法,验证了基于人体骨架的时空图卷积动作识别网络鲁棒性不足,而小网络虽然精度不足但鲁棒性却有所提升。为了兼顾识别精度和鲁棒性,本文提出了多模态特征融合的人体骨架动作识别网络,在存储空间、计算资源受限的场景下,同时提高了人体骨架动作识别的精度及其鲁棒性。本文的主要贡献如下:1.提出了基于分类概率空间正交的全局扰动的白盒攻击方案,该方案能有效实现对人体骨架动作识别网络模型鲁棒性的验证,并基于该白盒攻击方法提出基于蒸馏的替代模型攻击的黑盒攻击方法。对于基于分类概率空间正交的全局扰动,本文对样本加入轻微扰动,改变其分类概率空间,利用新的分类概率空间与原始分类概率空间正交的方式,成功生成可以对全局数据作用的微小扰动量。对于基于蒸馏的替代模型攻击方式,本文利用原始被攻击网络生成的软目标,基于知识蒸馏的思想,只采用少量数据便训练出泛化性能好的替代模型。替代模型使用本文提出的白盒攻击方式,生成对原始被攻击网络有效的全局性轻微扰动。2.提出了一种基于多模态特征融合的人体骨架动作识别方案,以兼顾识别精度和鲁棒性。单一骨架信息的动作识别鲁棒性不足,对于偏静态的动作,因缺少环境信息而容易产生误分类。本文从每段视频中提取一帧图片作为补充模态输入,并设计了特征替换训练过程和KL散度的约束等处理方案进行多模态特征融合。具体来说,对于每种特征模态,可以学习出两部分不同类型的特征,其中一部分特征为所有模态共通、更加泛化的部分,另外一部分为对分类有所帮助但和数据以及所用模态相关度更高的部分。其中KL散度损失函数还可以使得骨架、图片特征模态中相共通、泛化的部分进行相互补充,改善单模态的分类边界。实验结果表明本文方法在存储空间、计算资源受限的场景下,提高了人体骨架动作识别的精度及其鲁棒性。