说话人跟踪问题是实现人机交互的一个重要研究课题,针对基于单模态单特征的说话人跟踪算法鲁棒性差,定位精度低的问题,本文研究了一种基于双模态的说话人跟踪方法,充分利用音频信息和视频信息的互补性和冗余性,实现复杂环境下说话人鲁棒而精确的跟踪。本文深入研究了音视频联合的说话人跟踪问题,取得了以下的研究成果：(1)考虑到单一音频特征定位精度低和鲁棒性差的问题,采用一种基于到达时间差和波束输出能量联合定位说话人的两步定位方法。线性麦克风阵列中,先采用到达时间差特征进行声源的粗定位,获得声源的最大似然空间,之后进行细定位,引导波束输出在该似然空间内搜索能量最大的位置,并将该位置作为声源的最佳估计位置。(2)将D-S理论应用于视频多特征融合问题,设计一种基于改进D-S理论的视频多特征融合方法。本文先从证据源的可靠性和冲突分配两个角度改进了标准D-S理论,使其能适合说话人跟踪系统实际环境,之后,在粒子滤波的框架下,采用改进的D-S理论先融合每个摄像头的颜色直方图特征证据和方向梯度直方图特征证据,最后将每个传感器的局部融合证据再次采用改进的D-S理论进行总体融合,从而得到最终融合结果。(3)结合信息熵理论的相关知识,提出一种基于不确定性度量的音视频特征融合方法。在粒子滤波的框架下,选用到达时间差作为音频定位特征,颜色直方图作为视频定位特征,运用信息熵和方差理论定义特征的不确定性,由不确定性融合公式得到融合后的似然函数,进而生成粒子权值,得到说话人的最佳估计位置。