论文部分内容阅读
随着机器视觉技术的蓬勃发展,手势识别技术以其便捷的肢体语言交流方式在人机交互中发挥着越来越重要的作用,受到广大人机交互研究者的热爱。得益于手势识别技术的日益成熟,以手势为交互工具的智能教育、智能医疗、智能社保等智能系统逐渐普及到人们日常生活中。因此本文基于语义柔性映射交互模型构建了手势数据库,然而在利用卷积神经网络手势模型实际应用过程中,存在一些易混淆的手势,这些手势的存在必然会降低整个系统的性能。而普适性差、效果不佳的智能系统将很难被人们接受采用。由此,本论文依托国家重点研发计划项目、国家自然科学基金项目和山东省重点研发计划项目等项目基金的支持,以智能交互式界面为应用平台,对教学过程中的误识手势展开研究。本文主要研究目标是探究基于卷积神经网络手势识别算法的误识手势出错机理,并提出基于概率统计模型和卷积特征的智能纠错算法,通过对误识手势的智能检测与纠错,实现交互式教学的智能化。本论文的创新点概括为以下三个方面:(1)即使手势识别算法已很成熟,但在实际应用中由于外界因素的干扰,不可避免会出现误识手势。与传统的基于卷积神经网络识别静态手势算法相比较,本文提出了基于概率统计的误判概率模型,实现对误识手势的智能纠错。该算法主要从大数据角度分析,建立误识手势的混淆矩阵,分析每类手势和被网络模型错误识别为其他类手势的数量关系,并依据预测识别结果和实际类别的概率函数,建立了误判概率模型。在检测出错手势之后,本文以误判概率矩阵为基点产生随机数,设计了一个概率发生器进行纠错,使得混淆手势的识别率提高了5%左右。(2)现有方法一般通过优化网络结构及训练参数提高识别率,或通过定义新的手势特征和相似度算子以提高识别率。与之不同,本文探究误识手势出错机理,寻找出错过程的规律性。(3)由于上述基于概率的纠错算法没有体现手势出错过程,纠错效果不理想,因此,本文提出基于卷积特征的误识手势智能检测与纠错算法。为了探究误识手势的特点,本对误识手势从全连接层到卷积层的特征值逐一提取,并进行可视化,从特征值上比较分析同类手势被识别正确和错误的区别。在实验过程中首次提出区分误识手势的一个重要特征—三维曲面的峰值。从大数据角度分析,同一种手势在同一通道上对应的曲面的峰值总趋向于固定的区域,并且不同手势类型对应的区域是不同的。基于这个规律,提出了误识特征矩阵及自动纠错算法。研究结果表明,本文提出的算法与改进前的卷积神经网络相比识别率提高了15%左右。