论文部分内容阅读
摘要：本文综合分析了利用人体运动视频提取相关运动信息的技术基础，包括运动分析内容、人体骨架模型、运动跟踪方法。
关键词：视频分析技术；人体运动
Abstract: The use of human motion video extract relevant motion information technology infrastructure, including motion analysis content, human skeleton model, motion tracking method.
Key words: video analysis；technology
中圖分类号： TP391 文献标识码：A 文章编号：
1、引言
人体运动分析是指通过跟踪来获取人体的运动信息，并对提取的运动信息进行分析、识别和理解。人体运动分析一般可分为两种[1]：
1.1利用运动捕捉设备，它需要在人体的各个关节点上按上传感器或其他的辅助设备，然后将通过辅助设备获得的人体运动信息传递给计算机，计算机再通过相应的软件对运动信息进行处理，达到提取人体运动的目的；
1.2通过对包含了人体运动的视频图像序列进行分析，经过人工的初始化以及运动跟踪算法从视频图像中提取人体的运动信息，这也是本文要介绍的重点。
2、视频运动分析的主要内容
视频人体运动分析是通过运动跟踪算法来跟踪人体的运动，获得人体运动的二维参数信息，然后在二维参数信息的基础上重建人体的三维运动。整个视频人体运动分析的过程可用下图来描述：
图1 视频人体运动分析过程
从图1中可以看出，视频人体运动分析大致包含了以下四个步骤：
2.1从运动图像序列（即视频）中截取一帧静止的视频图像，再在图像中对人体骨架进行初始化，并记录下相关的图像数据信息，骨架的初始化为后面准确的人体运动跟踪奠定了基础。
2.2采用合适的运动跟踪算法跟踪人体运动，获得人体运动的二维参数信息，它是视频人体运动分析过程中的重要环节，是人体三维重建的基础。
2.3当得到人体运动的二维参数信息以后，就需要恢复出人体的三维骨架模型，将二维平面上的人体运动恢复成实际空间中的三维运动。
2.4人体运动行为的识别和理解[2]，它是人体运动分析的最高层次。对于普通人来说，可以轻易地分辨出人体的具体动作和行为，但计算机还没有这种本领，这有待于计算机人工智能的发展。
3、人体骨架模型
由人体解剖学的知识可以知道，人体的运动系统是由骨架、关节点、骨骼肌肉等组成的，人体的运动是通过骨架的运动来完成的，所以在视频中对人体进行运动分析应首先构造人体的骨架模型。
构造人体骨架模型可以将人体看成是由一系列的点以及点之间的连线所组成的集合体，这一系列的点分别代表了人体的关节点，点之间的连线代表骨骼或身体的某个部分，这样就将人体的运动简化为了人体骨架的运动。
图2 本文所用的人体模型
本文人在综合参考了相关文献的基础上，提出了自己的人体模型，见图2。该人体模型对人体关节点、关节点之间的骨骼连接进行了简化，这有利于视频图像的二维运动跟踪，也使人体模型看起来更接近于真实的人体。
本文人体模型包含了15个关节点和14条线段连接而成，线段代表的是人体的骨骼，各关节点所对应的名称见表1。
表1 关节点序号与名称对应表
序号 名称 序号 名称
1 头 9 腹
2 颈 10 右髋
3 右肩 11 右膝
4 右肘 12 右踝
5 右手 13 左髋
6 左肩 14 左膝
7 左肘 15 左踝
8 左手
关节点序号与名称的对应关系是由自己来确定的，采用人体模型可以将人体运动简化为人体骨架的运动，方便跟踪和建立平面上的二维骨架，然后利用计算机视觉理论的透视投影关系和人体解剖学的人体骨骼比例关系，求出关节点的三维坐标，建立三维人体运动骨架序列。
4、跟踪方法
视频人体运动分析的基本问题就是通过跟踪来获取人体的运动参数，而跟踪就是研究将特征从一帧图像到另一帧图像匹配的过程，目前跟踪方法有很多，现在简单介绍如下。
4.1基于特征的跟踪
基于特征匹配的跟踪方法[3]是利用特征点来进行跟踪，即将当前帧图像中提取的特征点与上一帧图像的特征点相比较，寻找特征点之间的对应关系以确定目标在当前帧图像中的位置，从而实现对目标的跟踪。该方法一般不需要考虑运动目标的整体特征，只需通过图像中一些局部的显著特征来进行跟踪，已有的技术包括模板匹配、结构匹配、树搜索匹配等等。
4.2基于区域的跟踪
基于区域的跟踪方法[4]是将整个目标区域作为一个特征来进行跟踪，例如将整个人体或人体的各个部分表示成一个运动区域，跟踪过程就是要在需要跟踪的帧图像中定位这些区域特征并建立它们之间的对应关系。
相对于特征点，区域特征提供了更多的图像信息，这使得特征之间的匹配更加准确。但是在视频图像中提取目标区域或对目标区域进行分割存在着较大的难度，而当目标物体出现被遮挡时，就会因为无法得到相对应的区域，从而导致跟踪失败，这也是基于区域的跟踪方法所固有的缺陷。
4.3基于活动轮廓的跟踪
基于活动轮廓的跟踪方法是利用封闭的曲线轮廓来表示运动目标，并且随着目标物体的移动，该轮廓能够自动连续地更新，该方法是建立在Level Set（水平集）理论的基础上。Level Set方法是由美国数学家Osher和Sethian在1998年提出的，最初是被应用在曲线和曲面的运动上，现在已广泛应用于流体力学、材料科学、计算机图形学、计算机视觉等学科领域。
相对于区域的跟踪方法，该方法不受环境、视频图像质量等外部因素的影响，但是人体的轮廓本身比较复杂，而且随着人体的运动其轮廓也会不断地发生变化，因此对轮廓的控制比较困难。
4.4基于模型的跟踪
基于模型的跟踪方法是比较常用一类方法，它是通过建立合适的模型来表示目标物体，然后在视频图像序列中跟踪定义好的模型来实现对目标的跟踪。在视频人体运动分析中，选择合适的人体模型是非常重要的，例如在视频监控中，只需知道他的具体位置，而不需要知道人的具体行为，这就可以用区域模型来表示；而在三维动画中，需要对人体的具体行为进行建模，因此要知道人体运动的具体参数，这样就应该选择三维棍状人体模型。总之不同的应用环境应选取不同的人体模型，可起到事半功倍的效果。
5、总结
本文详细介绍了人体运动分析的基础知识，提出了自己的人体运动模型；阐述了运动跟踪的常用方法，简要的介绍了它们的核心思想、用法及应用领域。
【参考文献】
[1] 庄越挺,刘小明,潘云鹤,杨骏．运动图像序列的人体三维运动骨架重建[J]．计算机辅助设计与图形学学报，2000，12(4): 245-250.
[2] 孙怡．人体运动跟踪的方法与实验研究[D]．大连理工大学博士论文， 2002.3
[3] Q.Cai, A.Mitiche, J.Aggarwal．Tracking human motions in an indoor environment[C]. Proceeding of International Conference on Image Processing, Washington DC, USA, 1995: 215-218.
[4] McKenna.S．Tracking groups of people[J]. Computer Vision and Image Understanding, 2000, 80(1): 42-56.
关键词：视频分析技术；人体运动
Abstract: The use of human motion video extract relevant motion information technology infrastructure, including motion analysis content, human skeleton model, motion tracking method.
Key words: video analysis；technology
中圖分类号： TP391 文献标识码：A 文章编号：
1、引言
人体运动分析是指通过跟踪来获取人体的运动信息，并对提取的运动信息进行分析、识别和理解。人体运动分析一般可分为两种[1]：
1.1利用运动捕捉设备，它需要在人体的各个关节点上按上传感器或其他的辅助设备，然后将通过辅助设备获得的人体运动信息传递给计算机，计算机再通过相应的软件对运动信息进行处理，达到提取人体运动的目的；
1.2通过对包含了人体运动的视频图像序列进行分析，经过人工的初始化以及运动跟踪算法从视频图像中提取人体的运动信息，这也是本文要介绍的重点。
2、视频运动分析的主要内容
视频人体运动分析是通过运动跟踪算法来跟踪人体的运动，获得人体运动的二维参数信息，然后在二维参数信息的基础上重建人体的三维运动。整个视频人体运动分析的过程可用下图来描述：
图1 视频人体运动分析过程
从图1中可以看出，视频人体运动分析大致包含了以下四个步骤：
2.1从运动图像序列（即视频）中截取一帧静止的视频图像，再在图像中对人体骨架进行初始化，并记录下相关的图像数据信息，骨架的初始化为后面准确的人体运动跟踪奠定了基础。
2.2采用合适的运动跟踪算法跟踪人体运动，获得人体运动的二维参数信息，它是视频人体运动分析过程中的重要环节，是人体三维重建的基础。
2.3当得到人体运动的二维参数信息以后，就需要恢复出人体的三维骨架模型，将二维平面上的人体运动恢复成实际空间中的三维运动。
2.4人体运动行为的识别和理解[2]，它是人体运动分析的最高层次。对于普通人来说，可以轻易地分辨出人体的具体动作和行为，但计算机还没有这种本领，这有待于计算机人工智能的发展。
3、人体骨架模型
由人体解剖学的知识可以知道，人体的运动系统是由骨架、关节点、骨骼肌肉等组成的，人体的运动是通过骨架的运动来完成的，所以在视频中对人体进行运动分析应首先构造人体的骨架模型。
构造人体骨架模型可以将人体看成是由一系列的点以及点之间的连线所组成的集合体，这一系列的点分别代表了人体的关节点，点之间的连线代表骨骼或身体的某个部分，这样就将人体的运动简化为了人体骨架的运动。
图2 本文所用的人体模型
本文人在综合参考了相关文献的基础上，提出了自己的人体模型，见图2。该人体模型对人体关节点、关节点之间的骨骼连接进行了简化，这有利于视频图像的二维运动跟踪，也使人体模型看起来更接近于真实的人体。
本文人体模型包含了15个关节点和14条线段连接而成，线段代表的是人体的骨骼，各关节点所对应的名称见表1。
表1 关节点序号与名称对应表
序号 名称 序号 名称
1 头 9 腹
2 颈 10 右髋
3 右肩 11 右膝
4 右肘 12 右踝
5 右手 13 左髋
6 左肩 14 左膝
7 左肘 15 左踝
8 左手
关节点序号与名称的对应关系是由自己来确定的，采用人体模型可以将人体运动简化为人体骨架的运动，方便跟踪和建立平面上的二维骨架，然后利用计算机视觉理论的透视投影关系和人体解剖学的人体骨骼比例关系，求出关节点的三维坐标，建立三维人体运动骨架序列。
4、跟踪方法
视频人体运动分析的基本问题就是通过跟踪来获取人体的运动参数，而跟踪就是研究将特征从一帧图像到另一帧图像匹配的过程，目前跟踪方法有很多，现在简单介绍如下。
4.1基于特征的跟踪
基于特征匹配的跟踪方法[3]是利用特征点来进行跟踪，即将当前帧图像中提取的特征点与上一帧图像的特征点相比较，寻找特征点之间的对应关系以确定目标在当前帧图像中的位置，从而实现对目标的跟踪。该方法一般不需要考虑运动目标的整体特征，只需通过图像中一些局部的显著特征来进行跟踪，已有的技术包括模板匹配、结构匹配、树搜索匹配等等。
4.2基于区域的跟踪
基于区域的跟踪方法[4]是将整个目标区域作为一个特征来进行跟踪，例如将整个人体或人体的各个部分表示成一个运动区域，跟踪过程就是要在需要跟踪的帧图像中定位这些区域特征并建立它们之间的对应关系。
相对于特征点，区域特征提供了更多的图像信息，这使得特征之间的匹配更加准确。但是在视频图像中提取目标区域或对目标区域进行分割存在着较大的难度，而当目标物体出现被遮挡时，就会因为无法得到相对应的区域，从而导致跟踪失败，这也是基于区域的跟踪方法所固有的缺陷。
4.3基于活动轮廓的跟踪
基于活动轮廓的跟踪方法是利用封闭的曲线轮廓来表示运动目标，并且随着目标物体的移动，该轮廓能够自动连续地更新，该方法是建立在Level Set（水平集）理论的基础上。Level Set方法是由美国数学家Osher和Sethian在1998年提出的，最初是被应用在曲线和曲面的运动上，现在已广泛应用于流体力学、材料科学、计算机图形学、计算机视觉等学科领域。
相对于区域的跟踪方法，该方法不受环境、视频图像质量等外部因素的影响，但是人体的轮廓本身比较复杂，而且随着人体的运动其轮廓也会不断地发生变化，因此对轮廓的控制比较困难。
4.4基于模型的跟踪
基于模型的跟踪方法是比较常用一类方法，它是通过建立合适的模型来表示目标物体，然后在视频图像序列中跟踪定义好的模型来实现对目标的跟踪。在视频人体运动分析中，选择合适的人体模型是非常重要的，例如在视频监控中，只需知道他的具体位置，而不需要知道人的具体行为，这就可以用区域模型来表示；而在三维动画中，需要对人体的具体行为进行建模，因此要知道人体运动的具体参数，这样就应该选择三维棍状人体模型。总之不同的应用环境应选取不同的人体模型，可起到事半功倍的效果。
5、总结
本文详细介绍了人体运动分析的基础知识，提出了自己的人体运动模型；阐述了运动跟踪的常用方法，简要的介绍了它们的核心思想、用法及应用领域。
【参考文献】
[1] 庄越挺,刘小明,潘云鹤,杨骏．运动图像序列的人体三维运动骨架重建[J]．计算机辅助设计与图形学学报，2000，12(4): 245-250.
[2] 孙怡．人体运动跟踪的方法与实验研究[D]．大连理工大学博士论文， 2002.3
[3] Q.Cai, A.Mitiche, J.Aggarwal．Tracking human motions in an indoor environment[C]. Proceeding of International Conference on Image Processing, Washington DC, USA, 1995: 215-218.
[4] McKenna.S．Tracking groups of people[J]. Computer Vision and Image Understanding, 2000, 80(1): 42-56.