论文部分内容阅读
目前,字符输入识别是人机交互领域一个相当热门的研究课题,但主流的输入识别系统基本都依赖于一定的硬件设备,如触摸屏、键盘、特定传感器等,这些接触或穿戴设备在一定程度上限制了用户的自由。因此,为了能够提升手写输入系统的用户体验和令其更加地自然、友好,本文提出了一种新颖的基于深度图像的空中手写字符输入识别系统,区别于传统的手写输入识别系统,它具备了非接触式的优点,能够做到实时响应,对使用场景要求比较宽松,不要求纯净的背景或者严格控制光照条件,因此具有较强大的通用性,可广泛的应用于人们的日常生活中;同时还在DE1-SOC嵌入式开发板上完成了移植,具有较高的便携性,并设计了友好的用户操作界面,便于人们的使用。 本文研究与实现的是一种纯裸手的、非接触式的、配置灵活的嵌入式手写输入识别系统,在实现该系统过程中,主要研究工作有:(1)探究深度图像的一些预处理方法。本文使用TOF相机进行深度图像的采集后,对深度图像进行双边滤波、二值化、孔洞填充、形态学处理、连通域标记、图像细化等预处理操作,提取出了人体骨架模型;(2)提出了一种双模式切换算法用于人手分割。在提取出人体骨架后,运用森林树结构查找人体骨架端点,根据骨架线计算出端点到质心实际距离,识别出端点属性,根据识别的端点进行侧写和正写模式判断。针对“侧写模式”采用测地距离和深度距离结合的方法进行人手分割;对于“正写模式”首先采用深度模型进行人手区域粗提取,然后再采用测地距离和深度距离结合的方法进行人手细分割;(3)研究了一种基于人手各关节点物理约束关系的指尖定位算法。在人手分割完成后,对人手区域进行掌心定位、手臂点提取、候选指尖点提取等操作。根据人手区域中指尖-手臂点距离最远的物理约束关系来剔除伪指尖,同时还需根据候选指尖点数目的差异来判断手掌状态,从而精确定位指尖点;(4)为系统设计了一些基本的手势控制指令。本文通过结合掌心位置、指尖数目和时间等特征,对系统设定了一些基本的控制功能如开始/结束、落笔书写、抬笔等;(5)提出了一种基于组合结构特征的手写字符识别算法。在指尖定位完成后,首先将连续视频帧里的指尖位置串接在一起,重构出手写的字符轨迹,然后对轨迹进行平滑去噪、形态学处理、归一化、角度倾斜矫正、图像细化、毛刺剔除等预处理操作,接着对手写字符轨迹进行凹凸特征、端点特征、扫描交点数特征等结构特征提取,最后根据组合结构特征进行分类,完成字符轨迹的分类识别;(6)系统在嵌入式开发板上的设计实现。在完成算法研究后,本文以DE1-SOC嵌入式开发板搭建硬件架构,以Linux系统作为软件开发平台,以QT作为开发工具进行人机交互界面的设计,最终完成系统核心算法的移植,实现了一种嵌入式的空中手写字符输入识别系统。 最后本文采集1200帧空中手写输入测试样本和498个手写字符识别测试样本进行实验可知,空中手写输入识别率在92%以上,手写字符识别率在93%以上。因此,本文的空中手写字符输入识别系统可靠性较高,能够满足日常的使用需求。