论文部分内容阅读
随着“中国制造2025”对于工业智能化、网络化、信息化的不断要求,人机交互中的信息传达方式日益呈现出多维度、多模态、关联结构复杂且数量级巨大等特点,这些都对传统人机交互技术提出了新的挑战。自然动态手势作为人类现实生活中常用的交互方式之一,它具有潜在的自然性、高效性以及多维性,正满足了日益增长的复杂多维信息交互需求。自然手势交互平台不仅可以提高工业数据信息的交互效率,更能增加操作人员的交互舒适程度,降低平台构建的运营成本,符合自然交互的未来发展方向。动态手势交互研究的核心在于复杂时空轨迹信息的语义化处理,手势所传递的交互信息也具有隐喻性、模糊性和个性差异化等特点,所以动态手势交互研究的关键问题可以归纳为:人手姿态数据的获取;独立手势间稳定边界条件的建立;统一特征预估模型的构建;交互语义模型构建及语义连续性划分等方面。针对上述问题,本文从混沌理论角度整体构建手势的动力学模型,综合研究动态手势交互的相关问题。重点对单目摄像头手势运动轨迹提取、关键帧检测、动态手势轨迹的混沌动力学特征提取、以及模糊交互模型设计等几个关键问题展开研究。具体研究工作如下:1)针对手势姿态获取中的逐次状态估计问题,构建了基于手势运动图像序列的卷积姿态机用于动态跟踪人手运动状态,从普通摄像头中捕捉到手部重要关节点的三维坐标点信息,进而通过卡尔曼滤波模型优化人手节点坐标运动轨迹获取的准确性,实现了人手关键节点运动坐标轨迹的获取及去噪优化。2)针对曲率角、几何中心点等描述性变量难以构建准确的手势运动特征方程的问题,提出基于混沌动力学假设的手势特征建模方法,通过高维重构手势运动轨迹的混沌相空间来构建混沌特征因子矩阵。提出假设动态手势的运动模型可以模拟为一个特定类型的混沌动力学系统;基于手势运动系统的混沌吸引子结构建立由混沌特征因子组成的特征矩阵;最终通过多种统计学习分类器验证混沌特征矩阵的表征能力。实验结果表明,凌空书写手势在分类器中的最高准确率可达到96.6%,基本证明混沌动力学研究假设的可能性。3)针对连续手势中各动作间边界条件难以确定,目标手势序列与过渡手势序列难以分割的问题,提出了基于混沌确定性检验的符号频谱时序分割算法。建立了基于定量速度缓冲区的目标手势检测规则用于筛选用户的目标手势动作;针对凌空书写手势的符号频谱分析,提出了基于统一符号频谱波形的弹性窗口检测算法用于连续手势动作分割。实验结果表明,凌空连续书写手势的分割识别率平均达到93.7%。4)针对虚拟装配场景中手势交互信息结构复杂,用户认知负担重的问题,提出了凌空手势模糊交互模型。首先通过用户可猜测性实验建立了凌空手势交互语义集。基于手势交互动作片段的时空关联性,分别基于Levenshtein距离和Trie树结构建立了手势语义信息的模糊逻辑推理及模糊片段索引关系。最终虚拟场景中的凌空手势交互实验结果证明模糊交互方案能有效的帮助用户建立相关的交互动作联想,减轻用户的记忆负担,打破了交互场景间的信息孤岛效应。论文验证了针对动态手势的混沌动力学研究的可能性,拓展了连续手势识别的特征工程思路,丰富了凌空手势模糊交互的模型算法。综合量化方程和质性分析两种系统研究方法,为动态手势交互场景提供了理论创新和技术支持。