论文部分内容阅读
从20世纪90年代起,计算机视觉拓展了一个所谓“看人”(looking at people,以下简称LAP)的应用领域,用计算机视觉作为人机接口,通过观察(监视)、分析人体不同部分的表情或姿态,从中提取有用的控制信息。由于是非接触性检测,因此对于操作者而言感觉比较自由而且自然,同时还能为机器提供丰富的信息资源,具有广阔的应用范围。在Looking at people应用中,手势姿态分析主要研究内容是分析用手势表达的符号语言(如手语字符)的意义。
本文进行的研究将Looking at people的方法应用于人的手势姿态分析和重建。采用多摄像机系统从不同角度“观察”人的手势,经过图像分析,信息合成,得到三维空间中手的姿态信息,然后利用点的三维重建方法和三维虚拟建模技术在计算机中形成人手手势姿态的三维立体虚像,进行对比验证和可靠性、准确性分析。研究主要完成了下列工作:
1.根据人手的生理结构特点,设计了适合于具有小幅度运动的非刚性构架上特征点的搜索、排序方法,可以迅速、准确地将摄像机拍摄的处于一定约束空间方位姿态下的手的姿态图像上的各关节点(含手腕和指尖),按手指的归属重新排序。
2.根据拍摄图像的特殊性,设计了适用于有轻微变形的柔性物体图像上特征点的匹配方法,利用上述重新排序算法,对不同摄像机拍摄的各图像采用相同的规则排列特征点的顺序,在解决了特征点的位置归属问题同时,也解决了图像对上对应点的匹配问题。
3.本研究采用张正友的平面标定方法对系统中的摄像机进行标定,该方法标定物简单、标定过程比较方便等特点。
4.研究中由于观测盲区的存在,一对摄像机无法观测到所有的特征点,只有两对或两对以上的摄像机的协作才可以完全提取所有特征点,本文采用四个摄像机构成的多目视觉系统获取手势图像,设计了多摄像头的信息融合算法,将各摄像头获得的特征点的三维坐标统一到同一个世界坐标系中,得到了全部关键点信息,为手势重建提供了所需数据。
5.采用点的三维重建方法和三维虚拟建模技术在计算机中完成了三维手势姿态重建,并通过实验,对重建的精度进行了分析。
研究采用的方法计算量小,算法简单易行。系统中所用的手套仅作为放置标记点的载体,因而不需要进行手套的标定;手套不与计算机相连,使人的手的动作比较自由,在摄像机监视范围以外,手可以自由动作。系统中操作人员的手的大小对算法执行和姿态分析没有影响,对手势姿态没有特殊的规定。