论文部分内容阅读
[摘 要]随着《变形金刚》、《钢铁侠》、《猩球崛起》等影视作品的热映,众多虚拟角色以深入人心。这些虚拟角色有别于传统的三维动画角色,而是采用了"动作捕捉技术"采集真实人物的动作和表情实现的。动作捕捉是进入CG时代以来被广泛运用于视觉特效大片中的技术,动作捕捉技术综合运用人物或动物的真实表情和动作,通过3D动画制作,从而设计完成一个个栩栩如生的动画形象,为观众带来前所未有的视听感受。本文就对光学式动作捕捉技术在影视动画制作中的发展进行了详细的研究。
[关键词]光学式动作捕捉;影视动画;应用
中图分类号:TH207 文献标识码:A 文章编号:1009-914X(2017)32-0000-01
引言
动作捕捉(Motion capture),简称动捕(Mocap),又称运动捕捉。是指记录并处理人或其他物体动作的技术。在电影制作和电子游戏开发领域,它通常是记录人类演员的动作,并将其转换为数字模型的动作,并生成二维或三维的计算机动画。捕捉面部或手指的 细微动作通常被称为表演捕捉(performance capture)。从定位精度、实时性、使用方便程度等方面来看,光学式动作捕捉技术的优势比较明显,所以,在当今影视动画市场下被广泛使用。
1 光学式动作捕捉技术介绍
光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说,对于空间中的一个点,只要它能同时为两部相机所见,则根据同一时刻两部相机所拍摄的图像和相机参数,可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时,从图像序列中就可以得到该点的运动轨迹。
光学式运动捕捉的优点是表演者活动范围大,无电缆、机械装置的限制,表演者可以自由地表演,使用很方便。其采样速率较高,可以满足多数高速运动测量的需要。这种方法的缺点是系统价格昂贵,它可以捕捉实时运动,但后处理(包括Marker的识别、跟踪、空间坐标的计算)的工作量较大,适合科研类应用。
2 基于光学运动捕捉的动画制作
目前的影视表演动画中多数使用光学运动捕捉系統。在该系统中,一般把人体看成是由13~19个关节点组成的简单模型,人体的动作可以看成是人体各个关节点的动作。在运动捕捉之前,人体的各个关节点上固定一个特殊的反光材料,称为标记点(Marker),这些反光材料在外部光源的照射下可以从不同角度反射出RGB值相同的光。利用多台摄像机进行实时视频捕捉,从各个摄像机得到的序列图片中可以看到每一帧中标记点的运动情况。因此可以得到一个特定的点随着时间变化的连续运动轨迹,然后通过三维重建技术将这些点的运动轨迹还原为骨架模型的动作。
2.1 标记点跟踪
表演者的动作经摄象机捕捉后由高性能视频卡进行分析处理得到序列帧,再经图象分析算法识别出标记点的二维坐标,这便是标记点跟踪的过程。跟踪标记点的主要目的是能让系统识别此点代表哪个关节点,以便在还原数据时直接将骨架连接起来。跟踪一个标记点要从第一帧开始,一直到这个动作的完成或中断。第二帧的位置要根据标记点的运动速度来预测。如设每秒取的帧数为f,标记点的速度为e,那么标记点的最大位移d=ef。从一帧到下一帧的最小距离是两帧之间的位移,用这个思想来预测和确定下一帧标记点的位置。标记点从第i-1帧到i帧的位移可以预测i+1帧的位移。有时,为了确认前面预测的正确性并排除多余的点,需要借助第i+1帧和i+2帧位置,因此可用四帧图像来说明标记点的跟踪算法。
标记点跟踪步骤如下:
(1)分析通过不同摄像头捕捉的两幅图片,给所有的标记点进行编号,而且两幅图片的编号要一一对应。
(2)对于一个特定的标记点,用上述跟踪方法得出此点在下一帧的位置。
(3)以后每帧用前述方法估计出一个位置。
(4)搜索估计值位置周围的标记点,最先搜索到的一点看成是本帧此标记点的实际位置,转到(6)。
(5)如果超过一个特定的搜索范围仍然没有找到标记点,则认为此点在本帧被遮蔽,将估计值作为跟踪值。
(6)将跟踪到的数据(标记点的图像坐标)保存,转到步骤(3)。
2.2 空间坐标的三维重建
三维重建是指把图像的二维坐标还原到三维坐标,然后用这些三维坐标的数据驱动创建的虚拟模型。在从二维图像信息计算三维空间结构的过程中,要利用视点的位置信息和视点的朝向信息,因此需要知道摄像机的各种参数,包括内部参数和外部参数,可以应用摄像机标定技术来得到这些参数,根据这些参数和标记点跟踪得出的二维坐标建立几何模型,从而实现三维重建。
2.3 动画的制作过程
基于运动捕捉技术的表演动画制作的过程:一方面,根据剧本,应用三维建模的软件(如Maya)进行数字化造型设计,制作出需要的动画模型;另一方面,表演者进行动作表演,利用视频捕捉卡进行动作捕捉,得到表演者的动作数据,再去驱动计算机动画模型,以此来生成动画序列。
在实际的动画制作过程中,运动捕捉的数据经常不能提供整个运动的连续控制,而且,运动捕捉是耗时且造价昂贵的一个过程,另外,表演者一般也不可能做到像动画师想像的那样,可用的数据只能是一段一段的。因此还需要动画师将有用的运动捕捉数据和所设计的情节进行匹配和合成。在所有的前期处理完成以后,就可以进行模型的驱动了。根据开始时用三维建模软件建立的模型,进行动画的合成,形成最终的影视动画作品。
3 影视动画中光学式动捕系统的应用建议
光学式动作捕捉系统的应用虽然为影视动画创作手段翻开了新的篇章,但同时也带来了新的问题。传统影视动画的创作过程是创作者通过自己长期的积累去创作角色的动作,反映了客观事实规律的同时进行主动的艺术创造。动作捕捉能够准确地纪录人的动作信息,甚至是表情信息,能够让CG角色逼真如真人般动起来。但是很多艺术作品,只是对真人动作的照相式的直接摹写,盲目地运用这一新的科学技术,而忽略掉了艺术的创作,直接把动捕数据套在CG角色上,最后的效果差强人意,失去了艺术的张力和质感。
那么,怎样才能更好地把光学式动捕系统应用到影视动画中,使影视动画增色,而不失去艺术表现力?笔者认为,动捕精准的数据,可以作为我们创作动作的参考数据,而不是作为作品的核心。动捕前,应当根据故事板对表演的动作进行计划;动捕时,表演者和动捕技术人员应与动画师、导演通力配合,及时调整动作。只有有效地将动捕数据与动画师的艺术表现力相结合,才能创作出优秀的影视动画作品。
结束语
运动捕捉技术在影视表演动画、虚拟演播室中得到了广泛的应用,大大提高了影视节目制作技术。此外,运动捕捉技术在虚拟现实、三维游戏、人体生物工程学研究、模拟训练、生物力学等许多研究领域都有重要的应用。可以预料,随着运动捕捉技术的发展和相关应用领域技术水平的提高,运动捕捉技术将会得到越来越广泛的应用。
参考文獻
[1] 刘畅.影视作品中动作捕捉技术的发展及意义[J].当代电视,2016,04:73-74.
[2] 黄涵渝,涂凌琳.光学式动作捕捉技术在影视动画中的发展[J].决策探索(下半月),2016,08:82.
[关键词]光学式动作捕捉;影视动画;应用
中图分类号:TH207 文献标识码:A 文章编号:1009-914X(2017)32-0000-01
引言
动作捕捉(Motion capture),简称动捕(Mocap),又称运动捕捉。是指记录并处理人或其他物体动作的技术。在电影制作和电子游戏开发领域,它通常是记录人类演员的动作,并将其转换为数字模型的动作,并生成二维或三维的计算机动画。捕捉面部或手指的 细微动作通常被称为表演捕捉(performance capture)。从定位精度、实时性、使用方便程度等方面来看,光学式动作捕捉技术的优势比较明显,所以,在当今影视动画市场下被广泛使用。
1 光学式动作捕捉技术介绍
光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说,对于空间中的一个点,只要它能同时为两部相机所见,则根据同一时刻两部相机所拍摄的图像和相机参数,可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时,从图像序列中就可以得到该点的运动轨迹。
光学式运动捕捉的优点是表演者活动范围大,无电缆、机械装置的限制,表演者可以自由地表演,使用很方便。其采样速率较高,可以满足多数高速运动测量的需要。这种方法的缺点是系统价格昂贵,它可以捕捉实时运动,但后处理(包括Marker的识别、跟踪、空间坐标的计算)的工作量较大,适合科研类应用。
2 基于光学运动捕捉的动画制作
目前的影视表演动画中多数使用光学运动捕捉系統。在该系统中,一般把人体看成是由13~19个关节点组成的简单模型,人体的动作可以看成是人体各个关节点的动作。在运动捕捉之前,人体的各个关节点上固定一个特殊的反光材料,称为标记点(Marker),这些反光材料在外部光源的照射下可以从不同角度反射出RGB值相同的光。利用多台摄像机进行实时视频捕捉,从各个摄像机得到的序列图片中可以看到每一帧中标记点的运动情况。因此可以得到一个特定的点随着时间变化的连续运动轨迹,然后通过三维重建技术将这些点的运动轨迹还原为骨架模型的动作。
2.1 标记点跟踪
表演者的动作经摄象机捕捉后由高性能视频卡进行分析处理得到序列帧,再经图象分析算法识别出标记点的二维坐标,这便是标记点跟踪的过程。跟踪标记点的主要目的是能让系统识别此点代表哪个关节点,以便在还原数据时直接将骨架连接起来。跟踪一个标记点要从第一帧开始,一直到这个动作的完成或中断。第二帧的位置要根据标记点的运动速度来预测。如设每秒取的帧数为f,标记点的速度为e,那么标记点的最大位移d=ef。从一帧到下一帧的最小距离是两帧之间的位移,用这个思想来预测和确定下一帧标记点的位置。标记点从第i-1帧到i帧的位移可以预测i+1帧的位移。有时,为了确认前面预测的正确性并排除多余的点,需要借助第i+1帧和i+2帧位置,因此可用四帧图像来说明标记点的跟踪算法。
标记点跟踪步骤如下:
(1)分析通过不同摄像头捕捉的两幅图片,给所有的标记点进行编号,而且两幅图片的编号要一一对应。
(2)对于一个特定的标记点,用上述跟踪方法得出此点在下一帧的位置。
(3)以后每帧用前述方法估计出一个位置。
(4)搜索估计值位置周围的标记点,最先搜索到的一点看成是本帧此标记点的实际位置,转到(6)。
(5)如果超过一个特定的搜索范围仍然没有找到标记点,则认为此点在本帧被遮蔽,将估计值作为跟踪值。
(6)将跟踪到的数据(标记点的图像坐标)保存,转到步骤(3)。
2.2 空间坐标的三维重建
三维重建是指把图像的二维坐标还原到三维坐标,然后用这些三维坐标的数据驱动创建的虚拟模型。在从二维图像信息计算三维空间结构的过程中,要利用视点的位置信息和视点的朝向信息,因此需要知道摄像机的各种参数,包括内部参数和外部参数,可以应用摄像机标定技术来得到这些参数,根据这些参数和标记点跟踪得出的二维坐标建立几何模型,从而实现三维重建。
2.3 动画的制作过程
基于运动捕捉技术的表演动画制作的过程:一方面,根据剧本,应用三维建模的软件(如Maya)进行数字化造型设计,制作出需要的动画模型;另一方面,表演者进行动作表演,利用视频捕捉卡进行动作捕捉,得到表演者的动作数据,再去驱动计算机动画模型,以此来生成动画序列。
在实际的动画制作过程中,运动捕捉的数据经常不能提供整个运动的连续控制,而且,运动捕捉是耗时且造价昂贵的一个过程,另外,表演者一般也不可能做到像动画师想像的那样,可用的数据只能是一段一段的。因此还需要动画师将有用的运动捕捉数据和所设计的情节进行匹配和合成。在所有的前期处理完成以后,就可以进行模型的驱动了。根据开始时用三维建模软件建立的模型,进行动画的合成,形成最终的影视动画作品。
3 影视动画中光学式动捕系统的应用建议
光学式动作捕捉系统的应用虽然为影视动画创作手段翻开了新的篇章,但同时也带来了新的问题。传统影视动画的创作过程是创作者通过自己长期的积累去创作角色的动作,反映了客观事实规律的同时进行主动的艺术创造。动作捕捉能够准确地纪录人的动作信息,甚至是表情信息,能够让CG角色逼真如真人般动起来。但是很多艺术作品,只是对真人动作的照相式的直接摹写,盲目地运用这一新的科学技术,而忽略掉了艺术的创作,直接把动捕数据套在CG角色上,最后的效果差强人意,失去了艺术的张力和质感。
那么,怎样才能更好地把光学式动捕系统应用到影视动画中,使影视动画增色,而不失去艺术表现力?笔者认为,动捕精准的数据,可以作为我们创作动作的参考数据,而不是作为作品的核心。动捕前,应当根据故事板对表演的动作进行计划;动捕时,表演者和动捕技术人员应与动画师、导演通力配合,及时调整动作。只有有效地将动捕数据与动画师的艺术表现力相结合,才能创作出优秀的影视动画作品。
结束语
运动捕捉技术在影视表演动画、虚拟演播室中得到了广泛的应用,大大提高了影视节目制作技术。此外,运动捕捉技术在虚拟现实、三维游戏、人体生物工程学研究、模拟训练、生物力学等许多研究领域都有重要的应用。可以预料,随着运动捕捉技术的发展和相关应用领域技术水平的提高,运动捕捉技术将会得到越来越广泛的应用。
参考文獻
[1] 刘畅.影视作品中动作捕捉技术的发展及意义[J].当代电视,2016,04:73-74.
[2] 黄涵渝,涂凌琳.光学式动作捕捉技术在影视动画中的发展[J].决策探索(下半月),2016,08:82.