论文部分内容阅读
传统的人机交互方式大多利用使用者的肢体运动来实现人机交互的功能,无法满足那些肢体残疾者、重度瘫痪者等特殊人群独立与外界交流的需求。随着各类学科技术的发展,基于视觉、听觉、触觉、嗅觉等多模态技术的新型人机交互方式层出不穷。本论文就是研究基于眼动信息的人机交互中的某些关键技术,以期能推动这种新型人机交互方式早日走出实验室,造福于社会。简单地说,基于眼动信息的人机交互方式就是记录并识别眼球的不同运动模式作为输入命令信号,实现对一些仪器设备的控制操作。基本的眼动模式有凝视、扫视(眼睛上、下、左、右的运动)、眨眼等。眼睛的这些运动模式又称为眼姿势(eye gestures)。在理解眼睛运动模式的生理机制的基础上,本论文围绕如下几点关键技术展开研究。一,研究与眼动信息提取与记录相关的问题。在综合比较了各种眼动信息提取方法之后,本论文选用基于影像Video-oculography(VOG)的方法记录眼动信息。即使用摄像机捕获眼睛图像,通过图像处理技术来提取眼动信息。用户是在一种完全自然的状态下被记录眼动状态,不会有任何紧张等不适感。系统组成仅仅包括一架摄像机与一台计算机,无需任何辅助光源。为了保证用单摄像机在自然光源下采集到完整、清晰的双眼图像,论文通过建立数学模型讨论:1)摄像机的合理放置区域,包括摄像机与用户之间的距离范围、摄像机的最大侧移角度;2)单摄像机采集眼动图像时,允许用户头部转动的最大水平角度。并在Matlab平台上完成了仿真模型边界条件的计算。之后,在实验室自然光源下,以模型头为对象,使用Congex Insight1020摄像机采集图像,验证了仿真建模的正确性。结论表明:在自然光源下,使用单摄像机要采集到完整、清晰的双眼图像,摄像机的水平侧移范围为±40o;同时,允许用户头部在±60o范围内转动(±表示左右方向)。二,研究多视角下人脸检测技术。通过改进经典的Adaboost算法,论文实现了复杂背景下100%的正面单人脸检测率。在此基础上,论文进一步扩大对不同视角方向下人脸检测的研究。在实验室自然光照条件下,从摄像机在用户正前方位置(初始0o视角)开始,以10o为步长,采集用户±60o视角范围内的头肩图像。在OpenCV平台上应用Adaboost算法对实际采集的图像进行人脸检测,实现了±30o视角范围内100%的单人脸检测率。三,研究多视角下人眼定位技术。首先应用积分投影算法在检测到的人脸图像上粗定位眼窗口。在此基础上,论文提出基于高斯滤波的区域灰度极小值算法计算眼睛瞳孔中心位置,并采用国际通用的Hausdorff距离度量标准检验计算结果的准确率。检验结果表明,应用本文算法对±30o视角范围内的眼动图像进行瞳孔中心定位,精度为96.43%。四,研究眼姿势识别算法。根据瞳孔中心位置变化辨识眼睛运动姿势。首先分析眼睛上下左右运动、有意眨眼动作与眼动图像中瞳孔中心变化轨迹的关系;在此基础上,讨论实现了±30o视角范围内水平眼动识别算法、垂直眼动识别算法与有意眨眼识别算法。最后,论文将人脸检测技术、人眼定位技术、眼姿势识别技术串联起来,在实验室自然光照下分别进行了水平眼动跟踪实验、垂直眼动跟踪实验、斜向眼动跟踪实验、矩形眼动跟踪实验以及命令式眼动控制实验。并对实验结果进行计算分析,验证了本文所研究的关键技术的正确性及可行性,为实际基于眼动信息的人机交互系统的应用作了有益的探索。