随着计算机软件技术和硬件技术的飞速发展,人们不再满足于通过命令行或者图形界面与计算机进行交互,而是追求随时随地都能够通过人的行为动作直接与计算机进行更为自然友好的交互。因此,人体动作识别受到了研究人员越来越多的关注,逐渐成为人机交互、普适计算领域的研究热点之一。人体动作识别研究运用数据处理,模式识别和机器学习等相关技术,让计算机获取数据并理解人体动作信息以实现更高层次的人机交互,在运动分析,医疗健康,特殊教育等领域有着广泛的研究和应用。人体动作识别主要是通过相关设施采集人体在运动状态下的数据,对其进行去噪等预处理,选择合适的特征提取方式提取能够表征动作的特征值,最后根据特征值实现对人体动作的分类识别。近几年,人体动作识别研究常见的方法有基于视觉的动作识别,基于惯性传感器的动作识别和基于无线信号的动作识别。基于视觉的识别技术已经有比较成熟的研究成果,在现有的图像数据库基础上能够达到很好的识别效果,但是受环境的影响较大,在光线不足或者视距较远的情况下难以实现准确识别;基于惯性传感器的识别方法避免了环境噪声的干扰,不怕遮挡,并减少了数据处理过程,但是需要将设备佩戴在身上,不仅增加成本,还会给活动带来不便;基于无线信号的识别方法能够随时随地对动作数据进行采集,不需要携带任何设备,但是容易到环境噪声干扰,而且具有高识别率的识别系统需要专用的硬件设备辅助,不利于大规模的部署。本文提出将Wi-Fi信号与惯性传感数据进行多模态数据融合,对运动速度较快的人体运动动作进行研究识别。采集Wi-Fi信号,以及在手臂上佩戴一个额外的惯性传感器获取运动传感数据,分别实现对7种基础的乒乓球运动动作的识别。将两种数据信息加以关联组合,通过多模态融合后的信息对研究对象进行模型构建,进而得到更加精确的辨识效果。本文的主要工作内容有:1、处理原始数据。通过现有的Wi-Fi设备搭配商用无线网卡搭建无线数据采集系统,采集信道状态信息(Channel State Information,CSI)数据,并对经过主成分分析降维的数据进行平滑去噪,减少无关噪声的干扰,使用小波包分解技术提取无线数据样本的能量值作为特征值序列;对惯性传感数据进行数据转换,并实现快速傅里叶变换(Fast Fourier Transformation,FFT),通过频谱分析和设置阈值提取异常数据得到特征值序列。2、提取特征向量。用K-means聚类算法对特征值序列矢量量化,得到特征值向量,在保留足够的特征信息的同时,降低特征值序列的维度。3、建模识别动作。搭建隐马尔科夫模型(Hidden Markov Model,HMM)分别对两种数据信号进行动作分类识别,再利用误差反向传播(Back Propagation,BP)算法对两种数据进行融合识别。实验证明,本文提出的基于Wi-Fi信号和惯性传感数据融合的人体动作识别模型能够在非大量数据样本条件下,有效识别7个预先定义的乒乓球运动基本动作,动作识别效果高于单独使用Wi-Fi信号或者惯性传感数据,融合数据后的人体运动动作平均识别率可以达到97.43%。通过随机选取训练样本和改变训练样本数量验证该融合方法具有一定的稳定性和可行性,在应用到实际中具有一定的研究价值,为动作识别的相关问题提供了新的思路。