论文部分内容阅读
随着会议智能化程度的普遍提高,几乎所有行业的正式会议都会使用PPT来进行辅助展示。演讲人在进行展示过程中需要借助双手对电脑进行操作,或者利用终端设备进行翻页操作等。为了将演讲人的双手从设备中解脱出来,引入了基于Kinect的姿势识别及手势识别技术。Kinect在多媒体教学中应用后,人们能够以更加自然的方式与计算机进行交流如语音、触控、手势等,实现体感教学。 本文主要对基于Kinect的人体姿势识别和手势识别进行研究。采用隐马尔科夫模型HMM进行人体姿势识别过程中,引入了分层识别方式,将人体运动数据解释为不同的抽象级别,目标行为及层次结构以树的形式进行表达。针对手指轮廓绘制过程中的联通性歧义问题对边界跟踪Border-Following算法进行改进,同时对指尖识别过程中的K-curvature算法进行了K值校准优化,大大降低了人与摄像机距离和手的大小对识别结果造成的影响。 首先,人体姿势识别。一般的基于HMM进行姿势识别的方法是将运动时间序列输入到HMM模型中,选择最大可能性的节点进行动作识别,这会造成整个系统无法处理好新数据(系统数据库未记录的姿势数据)。改进后的HMM算法中,对动作模型采用分层识别方式,可以将未定义动作模型标记为其它,选出最大可能性的节点后还需对该节点进行置信度检测,提升了识别结果的准确性。 其次,静态手势识别。在人体姿势识别的基础上提取出手部位图像,针对联通性歧义问题对边界跟踪Border-Following算法进行改进,完成手轮廓描绘,让图像更加清晰。通过K-curvature算法计算边界点上各个像素点的曲率值,找出指尖点。为了降低人与Kinect距离和手的大小对识别结果的影响,根据边界点数量对K参数进行调整优化,经过反复实验确定最优K值。 最后,动态手势识别。动态识别过程需要进行数据预处理、手势分割、手检测、最小凸包的构建与计算、特征分析与提取、数据降噪与滤波处理、时间序列的优化等一系列过程,完成对动态姿势的识别与分析。