论文部分内容阅读
在虚拟现实的应用中,往往对真实性和沉浸感有着非常高的要求,用户在希望虚拟场景中的模型质量、场景外观、物理仿真等尽可能地接近现实场景的同时,也希望交互对象的行为和决策具有较高的真实性和合理性。本文结合人体建模技术和强化学习技术设计了一个虚拟乒乓球角色,使之与用户在HTCVIVE平台上进行乒乓球对打交互。对于一个虚拟乒乓球交互系统而言,沉浸感和真实性主要体现在两方面:其一,虚拟场景的真实程度,即乒乓球场、球桌、球拍等实物以及虚拟角色的几何建模、物理仿真与全局渲染要尽可能地逼真;其次,虚拟角色的自我感知和自主决策能力,在这里体现为以合理的姿势与策略回击从用户方打过来的乒乓球。本文将着重从虚拟角色个性化建模及其行为决策的智能化来提高虚拟现实应用的沉浸感。
在建模方面,实现了一个由刚性配准、特征点引导变形和稠密配准三部分组成的三维人体扫描数据拟合系统。在特征点引导变形阶段,实现了变形图变形和SMPL参数化模型拟合变形两种方案。后者让我们能够利用SMPL参数化模型来表达个性化三维人体数据,从而为乒乓求交互系统利用逆向运动学技术驱动个性化虚拟角色生成击球动作打下基础。乒乓球、球场、球拍等虚拟场景则采用Unity3D进行几何建模与物理仿真。
在虚拟角色的自主决策方面,我们利用强化学习方法对球拍的击球策略进行训练,使之能产生一个有效的击球轨迹,然后以球拍位置对虚拟球员的右手腕关节进行约束,利用逆向运动学与强化学习相结合的人体姿态估计算法解算出球拍击球时虚拟球手的击球动作,从而得到一个能用合理姿态进行击球的虚拟球手。由于场景外观真实感强、虚拟球手击球动作有一定的智能性,使得所构建的虚拟乒乓球交互系统有较好的沉浸感。
针对所提出的方法和策略,我们都进行了较详细的实验验证与分析。结果表明,本文提出的人体建模方法能忠实地还原扫描模型的几何细节,而本文设计的虚拟乒乓球员,则能准确地完成击球任务。
在建模方面,实现了一个由刚性配准、特征点引导变形和稠密配准三部分组成的三维人体扫描数据拟合系统。在特征点引导变形阶段,实现了变形图变形和SMPL参数化模型拟合变形两种方案。后者让我们能够利用SMPL参数化模型来表达个性化三维人体数据,从而为乒乓求交互系统利用逆向运动学技术驱动个性化虚拟角色生成击球动作打下基础。乒乓球、球场、球拍等虚拟场景则采用Unity3D进行几何建模与物理仿真。
在虚拟角色的自主决策方面,我们利用强化学习方法对球拍的击球策略进行训练,使之能产生一个有效的击球轨迹,然后以球拍位置对虚拟球员的右手腕关节进行约束,利用逆向运动学与强化学习相结合的人体姿态估计算法解算出球拍击球时虚拟球手的击球动作,从而得到一个能用合理姿态进行击球的虚拟球手。由于场景外观真实感强、虚拟球手击球动作有一定的智能性,使得所构建的虚拟乒乓球交互系统有较好的沉浸感。
针对所提出的方法和策略,我们都进行了较详细的实验验证与分析。结果表明,本文提出的人体建模方法能忠实地还原扫描模型的几何细节,而本文设计的虚拟乒乓球员,则能准确地完成击球任务。