由于具备便捷、自然的优势,手势识别这一新兴人机交互技术被越来越多地应用于虚拟现实、康复医疗、远程遥控等领域。人手检测和人手跟踪是手势识别背后的两个基本而核心的问题,其准确度和实时性直接决定了手势人机交互技术的用户体验和效率。为此,本文针对人手检测和人手跟踪方法展开研究,旨在为手势识别人机交互提供高效、准确的人手检测和人手跟踪算法。针对人手检测问题存在数据类内差异巨大的难点,本文提出一种基于条件随机森林的人手检测方法。首先,对人手进行聚类分析。由于具有相似姿态、光照的人手被聚到同一个类,聚类后每个类中的人手类内差异将显著减低。其次,分别针对各个聚类中的的人手建构条件随机森林。最后,根据测试样本与各聚类中心的在特征空间的距离来从相应的条件随机森林选取相应数量的决策树,动态组建随机森林用于测试样本的分类。实验表明,本文提出的人手检测方法有良好的准确度。针对人手跟踪算法容易受背景干扰而发生漂移现象的问题,本文提出一种融合颜色特征的判别目标模型的人手跟踪方法。一方面建立基于颜色直方图的最小错误率贝叶斯分类器,分离人手和背景;另一方面识别与人手表观特征相似的干扰区域,并将其建模到贝叶斯分类器中,进一步抑制背景干扰。此外,还提出一种分割阈值自适应方法,用以更精准地对人手和背景进行分割。在人手跟踪视频数据集的实验表明,本文提出的人手跟踪算法可以降低背景区域的干扰影响,从而减轻漂移现象的发生,具有良好的准确性、鲁棒性与实时性。