基于眼动信息的人机交互关键技术研究

被引量 : 44次 | 上传用户:qrl307821498
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的人机交互方式大多利用使用者的肢体运动来实现人机交互的功能,无法满足那些肢体残疾者、重度瘫痪者等特殊人群独立与外界交流的需求。随着各类学科技术的发展,基于视觉、听觉、触觉、嗅觉等多模态技术的新型人机交互方式层出不穷。本论文就是研究基于眼动信息的人机交互中的某些关键技术,以期能推动这种新型人机交互方式早日走出实验室,造福于社会。简单地说,基于眼动信息的人机交互方式就是记录并识别眼球的不同运动模式作为输入命令信号,实现对一些仪器设备的控制操作。基本的眼动模式有凝视、扫视(眼睛上、下、左、右的运动)、眨眼等。眼睛的这些运动模式又称为眼姿势(eye gestures)。在理解眼睛运动模式的生理机制的基础上,本论文围绕如下几点关键技术展开研究。一,研究与眼动信息提取与记录相关的问题。在综合比较了各种眼动信息提取方法之后,本论文选用基于影像Video-oculography(VOG)的方法记录眼动信息。即使用摄像机捕获眼睛图像,通过图像处理技术来提取眼动信息。用户是在一种完全自然的状态下被记录眼动状态,不会有任何紧张等不适感。系统组成仅仅包括一架摄像机与一台计算机,无需任何辅助光源。为了保证用单摄像机在自然光源下采集到完整、清晰的双眼图像,论文通过建立数学模型讨论:1)摄像机的合理放置区域,包括摄像机与用户之间的距离范围、摄像机的最大侧移角度;2)单摄像机采集眼动图像时,允许用户头部转动的最大水平角度。并在Matlab平台上完成了仿真模型边界条件的计算。之后,在实验室自然光源下,以模型头为对象,使用Congex Insight1020摄像机采集图像,验证了仿真建模的正确性。结论表明:在自然光源下,使用单摄像机要采集到完整、清晰的双眼图像,摄像机的水平侧移范围为±40o;同时,允许用户头部在±60o范围内转动(±表示左右方向)。二,研究多视角下人脸检测技术。通过改进经典的Adaboost算法,论文实现了复杂背景下100%的正面单人脸检测率。在此基础上,论文进一步扩大对不同视角方向下人脸检测的研究。在实验室自然光照条件下,从摄像机在用户正前方位置(初始0o视角)开始,以10o为步长,采集用户±60o视角范围内的头肩图像。在OpenCV平台上应用Adaboost算法对实际采集的图像进行人脸检测,实现了±30o视角范围内100%的单人脸检测率。三,研究多视角下人眼定位技术。首先应用积分投影算法在检测到的人脸图像上粗定位眼窗口。在此基础上,论文提出基于高斯滤波的区域灰度极小值算法计算眼睛瞳孔中心位置,并采用国际通用的Hausdorff距离度量标准检验计算结果的准确率。检验结果表明,应用本文算法对±30o视角范围内的眼动图像进行瞳孔中心定位,精度为96.43%。四,研究眼姿势识别算法。根据瞳孔中心位置变化辨识眼睛运动姿势。首先分析眼睛上下左右运动、有意眨眼动作与眼动图像中瞳孔中心变化轨迹的关系;在此基础上,讨论实现了±30o视角范围内水平眼动识别算法、垂直眼动识别算法与有意眨眼识别算法。最后,论文将人脸检测技术、人眼定位技术、眼姿势识别技术串联起来,在实验室自然光照下分别进行了水平眼动跟踪实验、垂直眼动跟踪实验、斜向眼动跟踪实验、矩形眼动跟踪实验以及命令式眼动控制实验。并对实验结果进行计算分析,验证了本文所研究的关键技术的正确性及可行性,为实际基于眼动信息的人机交互系统的应用作了有益的探索。
其他文献
壁画是人类生产和生活的需要,是人类文明在不断演变和发展的过程中文化艺术成果的直接反映,体现着不同的历史阶段的文化发展的演进过程,是人类思想的艺术结晶,具有丰富的文化
镁合金由于密度小、比强度高、比刚度高、易再生利用等优点,被广泛用于航空航天、交通、电子产品等领域,被誉为“21世纪的绿色工程材料”。随着镁合金应用领域越来越广,应用
新疆霍城县是典型的半干旱区和灌溉农业区,气候比较干燥,而且洪旱灾害比较频繁,北山沟水系是农业灌溉引用的主要水源,也是保障当地经济可持续发展的基础性资源。由于人口的增
近年来,国家电网公司针对智能变电站在线监测提出了一系列技术标准,采用IEC61850标准实现在线监测的建模和通信,规定了变电站在线监测系统的架构、监测装置的功能和技术要求等内
我国从改革开放以来,各种类型的主题公园建设已持续多年保持高热。随着人们文化生活水平的不断提高,审美能力的发展,常规模式的主题公园已不能满足人们求知、求新、求奇的欲
溢流和漏失是影响钻井施工安全最为严重的两种钻井复杂情况。溢流漏失不仅严重阻碍钻井作业的正常进行,降低钻井效率,可能引发井塌、卡钻、井喷等其它井下复杂事故,甚至导致
中国的户外运动是从二十世纪八十年代开始,由欧美国家传入的,户外运动在我国经过短短几十年的发展正在由小众化、专业化的特定小群体逐步发展成为大众化、普遍化性质的户外休
在全面推进法治建设的背景下,如何在高校法治教育中形成正确的价值导向并使之成为大学生法治信仰形成的重要途径,是当前我们所面临的重要任务。注重知识教育与观念教育的结合
高铁客运站是区域空间内以疏散功能为主的地标性建筑,是新时期打造城市门户的重要载体。本文以高铁客运站为研究对象,分析自然环境、城市人文、城市规划布局、城市经济技术、旅
当前我国正在经历新一轮的城市空间重构,而面向存量建设用地的更新与重组是城市“内优外拓”空间重构下的主要方式之一。工业遗存地段作为工业化时代的物质载体,在我国城市历时