目标跟踪为虚拟交互系统中的一个重要研究课题,人手跟踪是其中一个研究热点,有广泛的实际应用价值。本文聚焦于核相关滤波（Kernel Correlation Filtering,KCF）目标跟踪算法,提出了一种基于KCF的改进人手跟踪算法。对La SOT中人手的部分数据集以及5段自制的人手视频序列进行了实验,实验表明以KCF目标跟踪算法为基准并结合YOLO v3,可以实现效果更好的人手跟踪。本文的研究内容主要有:（1）采用核相关滤波目标跟踪算法对人手进行跟踪,当目标被遮挡、发生形变时,会导致成功率下降,针对这些问题,提出一种基于核相关滤波的抗遮挡形变的人手跟踪算法。首先,将提取HOG（Histograms of Oriented Gradients）和CN（Color Name）特征直接融合和自适应融合,在训练阶段使用多模板核相关滤波器进行训练,在检测阶段将两个滤波器响应进行自适应融合。其次,本文引入一维相关滤波器进行尺度估计。第三,利用响应矩阵大小以及响应矩阵中特定值的位置关系进行遮挡和形变判定。第四,如果判定为产生遮挡或形变,则利用肤色检测和权重、学习率等参数的调整对目标进行重新检测。最后对算法的性能进行检验,实验结果显示改进后的算法重叠成功率和距离精度比相应的第二名算法DSST、FMMTSA＿DSST分别高了7.9%、10.1%。（2）KCF人手跟踪算法的第一帧目标是人为给定的,为了增加跟踪算法的实用性,本文引入YOLO v3算法对KCF进行初始化。首先对YOLO v3特征提取不稳定的问题,在特征提取网络中加入了空间金字塔获得信息更丰富的特征图;并且在YOLO v3的3个检测前嵌入SENet网络,抑制背景信息,获取更有效的特征信息。其次,针对目标检测模型速度慢的问题,提出将BN层融合到卷积层,减少了计算量。第三,引入惩罚项边框回归损失函数DIOU,减少目标的漏检,提高了准确率。最后,对算法性能进行检验,实验结果显示本文改进后的算法与YOLO v3相比,AP值高了2.52%,F1值高了15%,R值高了23.96%。（3）将本文改进后的KCF和YOLO v3算法融合在一起完成人手跟踪,实验结果显示使用YOLO自动标注第一帧目标与人为标注相比,重叠成功率下降了1.3%,距离精度高了0.6%,二者性能总体上看相差不大,最终实现了更加自动化的目标跟踪。