论文部分内容阅读
本文的主要工作就是将人体二维骨架序列重建成三维人体骨架序列，利用摄像机的透视投影模型、人体关节间的骨骼连接关系及人体骨骼长度等先验知识，将人体关节点的二维坐标恢复为三维坐标，重构出三维空间下的人体运动。
1摄像机定标
三维计算机视觉系统应能从摄像机获取的图像信息出发，计算三维环境物体的位置、形状等几何信息，并由此识别环境中的物体，图像上的每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置无关。为了定量地描述光学成像过程，我们首先定义以下三个坐标系：图像坐标系、摄像机坐标系与世界坐标系。
摄像机采集的图像以标准电视信号的形式输入计算机，经计算机中的专用模数转换板变换成数字图像。每幅数字图像在计算机内为数组，行列的图像中的每一个元素（称为象素，pixel）的数值既是图像点的亮度（或称灰度，若为彩色图像，则图像上象素的亮度将由红、绿、蓝三种颜色的亮度值来表示）。如图1-1表示，在图像上定义直角坐标系、，每一个象素的坐标分别是该象素在数组中的列数与行数。所以，是以象素为单位的图像坐标系的坐标。由于只表示象素位于数组中的列数与行数，并没有用物理单位表示出该象素在图像中的位置，因而，需要再建立以物理单位（例如毫米）表示的图像坐标系，该坐标系以图像内某一点为原点，轴与轴分别与、轴平行。摄像机成像几何关系可由图1-2表示。其中点称为摄像机光心，轴和轴与图像的轴与轴平行，轴为摄像机的光轴，它与图像平面垂直，光轴与图像平面的交点，即为图像坐标系的原点，由点与，，轴组成的直角坐标系称为摄像机坐标系。为摄像机焦距。
图1-2 摄像机坐标系与世界坐标系
摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。因此，空间中某一点在世界坐标系与摄像机坐标系下的齐次坐标如果分别是与，于是存在如下关系：
其中，为的旋转矩阵，为的平移矩阵，定义为
、、为坐标变换过程中沿轴，轴，轴三个方向的平移量。
下式是针孔模型下的透视投影变换：
从上面的的步驟我们可以得知，需要求解的参数有、、。旋转矩阵——的旋转矩阵包含了9个参数，为了运算简单起见，我们在实验中规定世界坐标系的三个轴方向与摄像机坐标系的三个轴方向平行，从而世界坐标到摄像机坐标的变换可以不做绕轴旋转，这时旋转阵为单位阵，此时，三维世界坐标系到摄像机坐标系的坐标变换方程可以简化为：
而平移矩阵包含的三个参数、、，这三个参数和摄像机的有效焦距，可以在摄像机拍摄的时候预先设定，这样就完成了摄像机标定的工作。
2人体骨架的三维重建
现在得到了摄像机参数，下一步就是从一个已知的二维关节点坐标出发，求出该点的三维坐标。
从图1-2的透视投影的针孔模型可以知道，连接摄像机光心和成像点之间有一条投影直线，该投影直线上所有的点投影到二维平面都成像于同一个点。所以可以先假设某一个基准点的三维坐标为已知，然后从该点出发，利用关节点之间骨骼的连接关系及人体骨骼长度知识依次求出其他关节点的三维坐标。而人体的骨骼近似刚体，所以假设骨骼的长度近似不变。
图1-3是本文所用的人体模型，假定第12个或第15个关节点为基准点，即人体的最低点为基准，该关节点的坐标为已知。假如已知的第15个关节点的三维坐标为，要求第14个关节点的坐标，则有如下关系：
即：
其中表示点与之间的距离。为人体模型中小腿的长度，其中已假设为已知，而坐标和是通过上一章中的跟踪得到的，这样只需求解方程就可以得到了，即可以求得第14个关节点的坐标值了。从上方程可以看出，的解将会出现以下三种可能：
1. 有两个解，说明该关节点有两种可能的位置，这种二义性是由于二维坐标向三维坐标恢复本身固有的问题，可以通过用户的交互以及人体运动的连续性原则消除这种二义性。
2. 只有一个解，此时该解就是所要求的值。
3. 无解，产生的原因有两个：一是跟踪得到的二维关节点坐标存在误差，这种情况可以通过人工交互重新跟踪来解决；另一个是作为先验知识的人体骨骼长度过短而产生的无解，这时可以适当地调整骨骼长度，然后再进行计算。
由于人体运动是连续的，所以图像序列中相邻帧之间人体关节点的三维位置是连续的，变化不大的，即相邻帧之间的人体运动中存在一些关节点，这些点的位置在一定的时间内保持稳定或者只做很小的位移。
3小结
本文在人体二维骨架的基础上，通过摄像机标定的基础知识对人体模型进行了三维重建，最终获得了整个人体的三维运动序列。本文提出的重建方法还存在一些限制和不足之处，还需要进一步的改进和完善。
参考文献：
[1] 马颂德，张正友.计算机视觉——计算理论与算法基础[M].北京：科学出版社，1998.
[2] 郭连起.人体解剖学[M].北京：人民卫生出版社，1994.
1摄像机定标
三维计算机视觉系统应能从摄像机获取的图像信息出发，计算三维环境物体的位置、形状等几何信息，并由此识别环境中的物体，图像上的每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置无关。为了定量地描述光学成像过程，我们首先定义以下三个坐标系：图像坐标系、摄像机坐标系与世界坐标系。
摄像机采集的图像以标准电视信号的形式输入计算机，经计算机中的专用模数转换板变换成数字图像。每幅数字图像在计算机内为数组，行列的图像中的每一个元素（称为象素，pixel）的数值既是图像点的亮度（或称灰度，若为彩色图像，则图像上象素的亮度将由红、绿、蓝三种颜色的亮度值来表示）。如图1-1表示，在图像上定义直角坐标系、，每一个象素的坐标分别是该象素在数组中的列数与行数。所以，是以象素为单位的图像坐标系的坐标。由于只表示象素位于数组中的列数与行数，并没有用物理单位表示出该象素在图像中的位置，因而，需要再建立以物理单位（例如毫米）表示的图像坐标系，该坐标系以图像内某一点为原点，轴与轴分别与、轴平行。摄像机成像几何关系可由图1-2表示。其中点称为摄像机光心，轴和轴与图像的轴与轴平行，轴为摄像机的光轴，它与图像平面垂直，光轴与图像平面的交点，即为图像坐标系的原点，由点与，，轴组成的直角坐标系称为摄像机坐标系。为摄像机焦距。
图1-2 摄像机坐标系与世界坐标系
摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。因此，空间中某一点在世界坐标系与摄像机坐标系下的齐次坐标如果分别是与，于是存在如下关系：
其中，为的旋转矩阵，为的平移矩阵，定义为
、、为坐标变换过程中沿轴，轴，轴三个方向的平移量。
下式是针孔模型下的透视投影变换：
从上面的的步驟我们可以得知，需要求解的参数有、、。旋转矩阵——的旋转矩阵包含了9个参数，为了运算简单起见，我们在实验中规定世界坐标系的三个轴方向与摄像机坐标系的三个轴方向平行，从而世界坐标到摄像机坐标的变换可以不做绕轴旋转，这时旋转阵为单位阵，此时，三维世界坐标系到摄像机坐标系的坐标变换方程可以简化为：
而平移矩阵包含的三个参数、、，这三个参数和摄像机的有效焦距，可以在摄像机拍摄的时候预先设定，这样就完成了摄像机标定的工作。
2人体骨架的三维重建
现在得到了摄像机参数，下一步就是从一个已知的二维关节点坐标出发，求出该点的三维坐标。
从图1-2的透视投影的针孔模型可以知道，连接摄像机光心和成像点之间有一条投影直线，该投影直线上所有的点投影到二维平面都成像于同一个点。所以可以先假设某一个基准点的三维坐标为已知，然后从该点出发，利用关节点之间骨骼的连接关系及人体骨骼长度知识依次求出其他关节点的三维坐标。而人体的骨骼近似刚体，所以假设骨骼的长度近似不变。
图1-3是本文所用的人体模型，假定第12个或第15个关节点为基准点，即人体的最低点为基准，该关节点的坐标为已知。假如已知的第15个关节点的三维坐标为，要求第14个关节点的坐标，则有如下关系：
即：
其中表示点与之间的距离。为人体模型中小腿的长度，其中已假设为已知，而坐标和是通过上一章中的跟踪得到的，这样只需求解方程就可以得到了，即可以求得第14个关节点的坐标值了。从上方程可以看出，的解将会出现以下三种可能：
1. 有两个解，说明该关节点有两种可能的位置，这种二义性是由于二维坐标向三维坐标恢复本身固有的问题，可以通过用户的交互以及人体运动的连续性原则消除这种二义性。
2. 只有一个解，此时该解就是所要求的值。
3. 无解，产生的原因有两个：一是跟踪得到的二维关节点坐标存在误差，这种情况可以通过人工交互重新跟踪来解决；另一个是作为先验知识的人体骨骼长度过短而产生的无解，这时可以适当地调整骨骼长度，然后再进行计算。
由于人体运动是连续的，所以图像序列中相邻帧之间人体关节点的三维位置是连续的，变化不大的，即相邻帧之间的人体运动中存在一些关节点，这些点的位置在一定的时间内保持稳定或者只做很小的位移。
3小结
本文在人体二维骨架的基础上，通过摄像机标定的基础知识对人体模型进行了三维重建，最终获得了整个人体的三维运动序列。本文提出的重建方法还存在一些限制和不足之处，还需要进一步的改进和完善。
参考文献：
[1] 马颂德，张正友.计算机视觉——计算理论与算法基础[M].北京：科学出版社，1998.
[2] 郭连起.人体解剖学[M].北京：人民卫生出版社，1994.