基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术，它在智能电视上的应用使人们摆脱传统遥控器的束缚，更好自然灵活地操控电视。本文从自然人机交互的角度出发，主要研究基于视觉的手势识别技术在Android智能电视上的应用。首先，从智能电视的发展出发，分析其交互方式，综述手势识别国内外发展的现状，研究了智能电视所采用的Android平台的系统框架、四大组件、Linux输入子系统和手势识别的相关理论知识，阐述了在Android平台手势识别实现原理。同时，通过在Android系统应用层开发适配器，将EyeSight手势识别技术整合到智能电视系统中，完成了基于2D摄像头手势识别在Android智能电视上的应用，实现了运用手势控制电视的自然交互。另外，分析研究基于3D摄像头手势识别在智能电视上的手势追踪和骨骼追踪的应用，特别是体感游戏，给用户带来如同身临其境般的体验，体现出人机交互由抽象向形象，由低维信息向高维信息发展的趋势，实现人机的“自然交互”，适应“以人为中心”的自然交互准则，共同创造新的自然互动生态系统。