人与计算机的交互越来越成为人们日常生活中的一个重要组成部分，如何实现更自然的人机交互，成为了计算机科学一个重要的课题。手势识别作为人机交互中一种有效的方式，提供了更加和谐、更加自然的人机交互方式。3D人体骨架能更精确地进行人机交互，给用户带来了更好的体验。3D人体骨架与手势识别在人机交互中得到了很广泛的使用。本文围绕3D人机交互，研究了3D人体骨架建模、3D手建模、动态手势识别，提出了很多新算法，本文的主要学术贡献如下：提出了基于中心线的快速3D骨架建模新算法，同时，提出了3D人体部位识别新算法，新算法运算速度快，识别精度高。算法的基本思想是，先提取人体轮廓并细化，然后验证，如果满足则利用特征点快速建立3D骨架，否则，采用基于人体部位距离(Human Body Part Distance, HBPD)的3D识别新算法，建立更精确的3D人体骨架。同微软公司的基于像素点分类的算法相比，本文的新算法具有以下优点：(1)算法运算速度快，时间复杂度仅是微软SDK的1/100，因为算法集中在宽度为一的人体细化模型上，有更高的效率；(2)精度高，能识别更多的3D人体骨架，包括微软SDK识别不到的人体姿态；(3)算法更容易实现，不再需要微软海量的训练样本。同时，本文提出了新的3D骨架跟踪算法，将检测与跟踪融为一个完整的相互促进的系统，并提出了基于角点匹配的算法，有效解决了光照变化与形状任意变化的跟踪难题。把新算法放在PRMI-Skeleton-21数据库上进行实验，一帧图片中提取3D人体骨架仅需5ms。本文提出了3D手建模新算法，快速精确地建立了3D手模型。算法用指尖与手指分支点初始化手特征参数，然后结合相似度的新算法，建立完整的3D手骨架模型，包含各个关节点，实现了手指弯曲等各种手姿态的3D手骨架建模。再结合本文提出的手检测跟踪新算法，实现了手任意运动时建立3D手骨架。本文提出了基于笔画特征与多层分类的手势识别新算法，并提出了方向到位置相似度(Direction to Location Similarity， D2LS)的新理论，有效提高了运算速度与识别率。首先，利用基于HBPD手检测跟踪新算法，精确计算手的位置。然后，将动态手势划分成笔画特征，组成特征序列，用D2LS计算相似度，用样本到类的算法识别动态手势。在PRMI-Gesture-16数据库上做实验，识别率达到98.75%。与传统算法相比，手检测跟踪更精确，手势识别更快，识别率更高。