论文部分内容阅读
多媒体人机交互技术是多媒体技术和人机交互技术的结合,其主要内容是信息表示的多样化和如何通过多种输入输出设备与计算机进行交互。它包括基于视线跟踪、语音识别、手势输入等各种新的交互技术。而视线跟踪与视线输入作为这个领域中新兴的技术,成为近年来人机交互领域中倍受关注的前沿方向。围绕着视线跟踪与视线输入这个主题,本文主要探讨了人眼视觉跟踪理论与基于视线输入的人机系统等相关问题。首先,简要论述了人机交互技术和计算机视觉理论的发展历程,并扼要介绍视线跟踪技术的现有基本原理和方法,总结其研究现状和进展。同时介绍本文的研究背景和研究内容。其次,研究了视线跟踪技术与视线输入系统。借助现有的基于视线输入的交互系统的理论与研究模型进一步分析与总结,提出了一种人机交互系统意义上的“自然和谐”式视线输入系统,即利用以往研究者认为的“眨眼”干扰作为运动目标,运用差分法快速提取期望目标图像,进而构造该视线输入系统。再次,在本系统模型基础之上,分析了该系统的各个组成部分功能与结构的现有设计方法,针对该系统研究领域中的相关重点与难点进行分析与设计,以此作为本文的主要研究内容。针对人机交互系统要求具备实时迅速的人眼图像处理能力,提出了将人眼跟踪划分为粗定位与精确定位两个部分进行处理,利用运动差分法初步跟踪人眼,把背景与人眼区域分开,然后利用Hough变换提取瞳孔中心,得到精确的人眼位置,以辅助光源在人眼角膜上的普尔钦斑点及瞳孔偏移为依据,通过对实验照片进行图像处理及分析来检测与判断视线输入方向。针对现有视线输入系统要求使用者头部只能固定不动的缺点,采用云台控制CCD摄像机,以适应使用时头部一定范围的自由活动,以此降低系统对使用者的操作要求。并结合系统要求设计了云台与计算机的串口通信程序。最后,作为视线输入人机交互系统的一个典型应用,本文介绍了国外最新研究的DASHER助残文字输入系统。