手势作为一种和谐的交互方式被各大电视机厂家应用于智能电视交互中。但是考虑到手势的复杂形变和其快速运动的特点,外加家居环境中不确定的光照条件和背景环境,智能电视手势交互系统的研究依旧面临诸多挑战。各大厂商手势跟踪效果一般,指令集的水平也是参差不齐。因此设计一套稳定的可实用的手势控制系统对行业的发展具有很大的促进意义。本文基于2D彩色摄像头设计开发了一套智能电视手势交互系统。一套完整的手势交互系统主要包含手势检测、手势跟踪以及手势识别三个阶段。本文在已有的相关技术基础上,主要做了如下三部分的工作:适用于手势的跟踪算法,手势识别算法以及指令集设计,系统框架设计。(1)手势跟踪:为了适应手势的非刚性形变及家居空间中复杂的光照、背景环境,本文跟踪算法基于原有的增量子空间跟踪模型,引入在线特征选取,将在线特征应用于跟踪模块以适应手势在不同形变下的特征变换。并在子空间加入肤色权重,减少跟踪框周边环境对跟踪手的影响,让手势跟踪效果的稳定性和鲁棒性更强。本文的实验效果测试,验证了其准确性和鲁棒性。(2)手势识别-手势指令的设计:传统的手势指令很多的设计都是不自然的,且算法单一,不能针对不同的手势进行对应的算法开发。本文针对智能电视,依据快速,连贯准确、操作简单且易于理解、不容易疲劳、指令数量适中等核心原则,设定了相应的手势指令集系统,一共有向左、向右向上、向下、静态向左、静态向右、顺时针画圈、逆时针画圈、握拳、松手和挥手11种智能手势。其中新开发了基于光流的“握拳”手势识别算法,改进了“轨迹匹配”识别算法,并基于传统Adaboost算法设计了静态指令。针对不同的手势,本文也做了详细的实验测试,指令在正常的条件下识别率和正确率都相对较高,能达到实用的条件。(3)系统设计方面:针对智能电视终端,将进程资源进行有效分配,另外要兼顾算法的复杂性和速度,采取高配置的PC端处理,而指令的响应由智能电视系统处理,两者通过网络进行通信。另外针对跟踪丢失的问题,本文专门设计了跟丢重检策略,在实际应用中有很大的实用价值。