视声信息是人类感知环境世界的主要途径,也是拟人机器人视觉和声觉导航的关键技术。利用视觉和声觉技术提高机器人导航能力,是拟人机器人研究的重要内容。机器人视觉和声觉的发展不仅将大大推动智能系统的发展,也将拓宽计算机与各种智能机器的研究范围和应用领域。拟人机器人对目标的跟踪是一个重要的基本需求,本文的主要工作就是融合视觉和听觉来进行跟踪。视觉跟踪方法相对听觉来说比较成熟,声觉还处于研究阶段,所以声觉部分是全文重点,搭建的试验平台也以听觉为主。为了解决本文环境为有背景噪声的局限性,本文采用二次小波分解全局阈值消噪方法。该方法以小波变换为基本理论,应用阈值方法进行消噪处理,不同于传统方法的地方在于它对信号的高频部分做了二次分解。试验结果表明该方法提高了信噪比,去除了大部分噪声,同时有效的信号的能量也相当完整地保留下来,能够很好地解决噪声对语音信号的干扰的问题。同时这一环节为基频提取打下良好的基础。单个语音的基频提取有很多方法,但是每种方法都其不足之处,本文提出了一种融合自相关函数和平均幅度差函数的新算法。这种方法非常适用于有噪声环境下的实时处理,这一步对语音的分离乃至多目标跟踪起到关键性作用。试验结果表明这种方法使基音周期的峰值突出,对清浊音的判别更准确,检测速度快,鲁棒性也非常好,并且有很好的时实性。最后,本文给出一种新的粒子滤波器来融合听觉和视觉信息,这种方法使得视觉和声觉信息的地位更为对称,从而能够更好的发挥其互补作用。此算法比单纯使用视觉和声觉信息的跟踪算法具有更高的可靠性,同时对光照条件改变、背景变化、人物交错、遮挡等干扰都具有一定的鲁棒性。