论文部分内容阅读
近日，索尼研究人员研发出一款VR手柄，可以较精准地跟踪玩家手指的动作，这一技术或将用于索尼下一代PS游戏机。
VR提供一种沉浸式体验，手势的自然交互对于用户的体验十分重要，但现有的VR手柄在这一点上存在缺陷，能够感知到的手部动作较少。索尼研发的VR手柄克服了这一局限性，可以较精准地再现用户每个手指的动作。
索尼研究人员设想，可以结合电容式传感器和神经网络来实现更精准的手势追踪，用手柄上的电容式传感器检测出用户手势变化，用神经网络模型预测出用户手指在三维空间的运动情况。基于上述设想，索尼研究人员设计出VR手柄原型。
首先，研究人员在手柄握把部分安装62个电容式接近传感器，使传感器尽可能多地覆盖手柄曲面和顶面。然后，他们又为神经网络模型建立训练集。选择12位手形不同的人（男性8人，女性4人）作为参与者，用动作捕捉系统OptiTrack以60帧率捕捉参与者动作。每个参与者用右手做出11套不同手势。每个动作重复4次，前3次用于训练，第四次用于验证。据介绍，准备好的训练集包含344015帧图像，验证集包含111165帧图像。
研究人员基于卷积神經网络（CNN）ResNet-18构建直接回归网络（Direct Regression Network），基于2.5D热图回归架构（2.5D heatmap regression architecture）构建热图检测网络（Heatmap Detection Network）。最终，他们用验证数据集评估了两个神经网络模型的性能。结果显示，直接回归神经网络模型更精确地预测了手部动作。
VR提供一种沉浸式体验，手势的自然交互对于用户的体验十分重要，但现有的VR手柄在这一点上存在缺陷，能够感知到的手部动作较少。索尼研发的VR手柄克服了这一局限性，可以较精准地再现用户每个手指的动作。
索尼研究人员设想，可以结合电容式传感器和神经网络来实现更精准的手势追踪，用手柄上的电容式传感器检测出用户手势变化，用神经网络模型预测出用户手指在三维空间的运动情况。基于上述设想，索尼研究人员设计出VR手柄原型。
首先，研究人员在手柄握把部分安装62个电容式接近传感器，使传感器尽可能多地覆盖手柄曲面和顶面。然后，他们又为神经网络模型建立训练集。选择12位手形不同的人（男性8人，女性4人）作为参与者，用动作捕捉系统OptiTrack以60帧率捕捉参与者动作。每个参与者用右手做出11套不同手势。每个动作重复4次，前3次用于训练，第四次用于验证。据介绍，准备好的训练集包含344015帧图像，验证集包含111165帧图像。
研究人员基于卷积神經网络（CNN）ResNet-18构建直接回归网络（Direct Regression Network），基于2.5D热图回归架构（2.5D heatmap regression architecture）构建热图检测网络（Heatmap Detection Network）。最终，他们用验证数据集评估了两个神经网络模型的性能。结果显示，直接回归神经网络模型更精确地预测了手部动作。