人体行为识别是人工智能与模式识别领域内一个新兴的研究方向，具有极其广泛的应用前景。本论文针对人体行为识别中的图像预处理、行为表征、特征降维以及行为分类等关键技术进行研究，提出了适用于可见光与红外成像、可穿戴传感的行为识别方法，获得了较好的识别效果。论文取得的主要创新性成果如下：(1)高质量的图像预处理是行为识别研究的基础。面向可见光、红外双波段视频监控应用，提出了一种双波段彩色图像融合算法，并考察了图像融合对于人体目标跟踪性能的影响。将可见光与红外图像在NSCT域内进行自适应融合，并将融合图像赋予YUV颜色空间的亮度通道，进一步通过颜色传递可获得具有自然色彩视觉效果的彩色融合图像。实验结果表明，该方法可提高人体目标的可探测性，丰富融合图像的细节信息，增强观察者对监控场景的感知，为计算机视觉分析提供更高质量的源图像；此外，双波段图像融合能够提高对人体目标跟踪的准确度和鲁棒性。(2)提出了一种基于外观表征和多类相关向量机的行为识别方法。建立了一种新的时空模板：能量变化图，并在此基础上提取反映人体形状信息和运动信息的行为特征；首次将多类相关向量机引入行为识别领域，用于对多类行为的分类识别。在Weizmann行为数据库上进行了测试，采用“Constructive”结构的多类相关向量机获得的识别率达98.2%，且表现出优异的特征样本稀疏性。与其它一些典型的识别方法相比，本文方法在行为特征的复杂度和识别率方面均具有明显优势。进一步分析表明，不同方法间识别性能间差异主要源自于特征选取方式和分类方法选择上的不同。(3)提出了基于视觉特性的行为识别方法，并首次将Gabor类小波应用于红外成像人体行为识别。采用Gabor小波，对行为的能量变化图进行多尺度、多方向性描述。为了减少频带覆盖所需的分解层数，并更好地刻画行为的细节特征，进一步采用了性能更为优越的Log-Gabor小波。针对行为识别中面临的高维特征问题及训练过程中的小样本问题，分别采用了主元分析方法和鉴别共同向量方法对Gabor类特征进行降维。在重庆大学构建的红外行为数据库上进行测试，获得的识别率达94.44%。此外，还考察了Gabor小波类别、特征降维方法及分类器的选取对识别性能的影响，验证了本文方法的设计合理性。(4)对可穿戴传感行为识别进行研究。针对行为传感中存在的高维数据问题，首次将广义判别分析方法应用于可穿戴传感行为识别，提出了一种新颖的行为识别方法。对提取的时频域行为特征，采用广义判别分析方法进行降维，并构建组合相关向量机实现对多类行为的分类。在WARD人体行为数据库上进行了测试，获得的识别率达99.2%。为增强可穿戴传感行为识别系统的鲁棒性，对系统结构进行优化分析，进一步对多传感节点的融合问题进行了研究。在建立的决策融合框架中，采用自适应对数优化池对各个节点的分类后验概率输出进行决策融合，最终判别行为的类别。重点研究了传感节点数目及节点部署方式，融合规则、特征降维方法和分类方法的选取对识别性能的影响。