本文主要研究视频图像中人的检测和跟踪以及人的动作识别。人的检测、跟踪和动作识别既是当前计算机视觉和人工智能领域研究的热点也是难点之一。热点在于它的应用前景非常广泛，无论是在视频监控、人机交互还是在视频检索等领域，都具有很大的应用潜力。难点在于人的动作种类非常多，动作特征变化大，容易受环境影响等。本论文借鉴了目前应用于动作识别的主流技术，如特征点、支持向量机、Mean-Shift等，提出了改进的方法，并通过实验证明论文提出的方法在识别的准确性和鲁棒性方面有所提高。论文的主要创新点概述如下：　　 ⑴提出了一种自然光条件下的颜色模型，并结合模板、图模型和贝叶斯方法提出了一种行人的检测方法。基于颜色分析，提出的颜色模型能够较好的适应光照和角度的变化。利用行人的特点进行模板检测，提高了算法的效率。由于对象随时间变化，可能改变尺度大小，又提出了一种结合二个参考节点的图模型来检测对象的位置和大小。　　 ⑵改进了mean shift方法，提出一种基于模板的结构化的核函数的人的跟踪方法。mean shift在很多的实验研究中被证明能有效的跟踪目标，它的问题在于跟踪窗口的大小难于确定，易受环境的影响，并且在目标尺度变换的情况下，有可能会失效。本文根据跟踪目标的特点，把目标分成几个部分，每个部分有自己的特征，每个部分相互之间具有空间结构关系，这样就可以有多个具有空间位置关系的核函数分别跟踪目标的每个部分。同时设计了一个简洁有效的算法，使得在分别跟踪目标的不同部分时相互约束，从而提高了跟踪精度，实验表明其跟踪的精度要优于原有mean shift方法。　　 ⑶提出一种结合轮廓特征和DTW来识别人的动作方法。DTW最初应用于信号处理领域，并在语音识别中也发挥了重要作用，但在应用于动作识别时，需要解决如何求得不同序列中对应节点距离的问题。由于人的动作序列是一组由前后次序关系的动作姿态构成的序列，而轮廓信息能够较好的抓住不同动作的姿态，且DTW能够比较具有先后时间关系的序列的相似度，所以提出一种结合轮廓信息和DTW得到序列之间的距离，并用最近邻法识别不同的动作类型，此外还实现了一个高效的轮廓匹配方法。实验证明所提方法能够在较短时间内检测出不同的动作类型。　　 ⑷提出一种SVM-SMM人的动作识别方法，该方法利用半马尔科夫(SMM)为动作序列建立模型，并用支持向量机(SVM)通过训练得到模型参数。这里的动作识别是指对一个包含不同动作类型的连续的动作序列的识别，因此该动作识别的本质也是一个动作分割问题，即在一个动作序列中，根据不同的动作分割成序列段，并分别加以识别。SMM的优点在于它能够为段以及段与段之间的关系建立模型，而该模型的参数是通过广义SVM方法学习得到。实验表明所提出的SVM-SMM方法要优于HMM-SVM和SVM方法。　　 ⑸在DTW和编辑距离(edit distance)基础上，提出了一种弹性序列关联方法(ESC)来进行动作的分割和识别，并进而把该方法应用于视频中动作的检索。实验表明该方法不仅提高了识别率，而且提高了搜索效率。　　 ⑹在特征点的基础上，利用不同的特征描述提高识别率。在复杂环境下，动作识别的准确性通常不高，这是由于目标特征容易受环境影响。而特征点具有一定的鲁棒性。论文分别在二维和三维空间中，通过不同的检测方法得到特征点，并结合SIFT和形状上下文(shape context)方法给出了特征描述，在此基础上又提出利用码词(codeword)作为更上一层的特征描述。实验证明特征点在提高目标识别的准确性方面具有重要作用。