论文部分内容阅读
自从历史上第一台计算机诞生以来,人类从未停止探索与计算机的交互方式。传统的人机交互设备如鼠标、键盘、麦克风、传感器等对用户有一定的使用要求,不易于携带装配,严重影响用户体验,甚至一些精细的设备价格非常昂贵。基于计算机视觉的人机交互技术近年来发展迅速,为研发更加优越的用户体验带来了一种新的思路,而投影仪和相机是用于该类人机交互系统的主要设备。本课题对虚拟键盘键位和用户指尖位置的获取方法进行了深入的研究,设计并实现了基于微型投影仪及视觉感知的虚拟键盘拨号系统。系统综合响应比、准确性、效率以及性价比等多方面的考虑,选择了微型投影仪、CCD相机、镜头、图像采集卡等硬件设备,并采用微软公司研发的Visual Studio2010开发工具作为系统软件的运行环境。基于微型投影及视觉感知的虚拟键盘拨号系统运行时由微型投影仪在场景中投射出计算机传输的虚拟键盘拨号图像,相机实时采集图像数据,利用Zhang二维平面标定法对采集的虚拟键盘拨号图像进行畸变矫正,并提取出虚拟键盘键位和用户指尖位置,最后解析用户拨号操作。本文主要工作和成果如下:1、提出了一种基于区域生长法获取虚拟键盘键位的方法。先采用背景建模、图像预处理、阈值分割等方法分离出键位区域,再根据虚拟键盘5行3列的键位布局特点,采用改进的区域生长法提取出键位的平面坐标。2、提出了一种基于最大类间方差法的用户指尖位置获取方法。系统先建立背景差分模型并利用基于最大类间方差法分割出手指区域,再利用指尖检测方法提取出用户指尖位置,同时采用指尖轨迹跟踪方法跟踪用户手指移动。为了解决环境光照浮动带来的指尖误检问题,本系统提出了一种自适应背景更新算法。3、建立按键操作模型,根据用户指尖位置与虚拟键盘键位解析用户操作,实现了基于微型投影及视觉感知的虚拟键盘拨号系统。并从多线程、双缓冲、软件架构、模块化等角度对系统进行优化,有效地提高了系统的稳定性和运行效率。本系统结构简单、所用硬件设备体积小、成本低廉。实验表明,系统运行效率高、鲁棒性好、算法适用性广,按键反应性能良好,能够快速、准确地响应用户按键操作,具有一定的理论研究价值和实践意义。