人机交互技术发展多年,但是人类与机器之间的交互方式却始终无法摆脱键盘、鼠标、遥控器等外部设备的限制,这严重制约了交互体验的提升。近年来,随着人工智能、模式识别、机器学习技术的快速发展,人类对自然交互的渴望愈发强烈。所谓的自然交互,就是让机器能够通过观察人类的动作、聆听人类的声音,来理解人类的指令,更加自然地和人类进行交流。本文研究基于Kinect传感器的自然人机交互系统,主要研究内容如下：本文首先详细介绍了Kinect传感器的硬件组成以及相关核心技术,包括结构光编码技术、骨骼跟踪技术和语音识别技术。接着利用Kinect传感器提供的彩色图像数据、深度图像数据和骨骼数据实现了姿态识别和手形识别。并着重介绍了基于3D骨骼坐标的姿态识别方法,分析了基于Hu矩和基于MLP神经网络识别静态手形的原理,还通过实验比较了两者的识别效果。针对动态手势识别,提出了一种基于手部位置、角度、速度的识别方法,并验证了其可行性。通过对Kinect for Windows SDK中语音识别API的调用,实现了语音命令的识别。最后,详细论述了系统硬件和软件的设计与实现,给出了必要的电路原理图和软件流程图。对本系统中所有的人机交互功能,本文都进行了必要的实验,结果表明该系统能够实现给定的交互功能,且具有不错的鲁棒性,达到了预期的研究效果。