目标跟踪技术在安防监控、智慧城市、无人机侦察等方面有着广泛的应用前景。基于图像处理的视频目标跟踪作为其中一个重要领域,一直以来拥有着极高的研究热度。常规的基于摄像头的监控系统面临着一个无法避免的问题,对视野盲角内的监控完全失效。针对这一问题,本文提出了一种将视觉跟踪和听觉跟踪相结合的声增强视频跟踪系统的设计方案。该系统具有实时估计目标声源方向和根据图像序列跟踪目标的能力,通过估计目标动作伴随的声源来向,将摄像机转向本处于视场外的目标。这种声学辅助的摄像头运作方式是对传统监控摄相机工作模式的一个重要补充。本文首先总结了基于视频和音频数据的目标检测及跟踪理论基础。在视觉跟踪方面,介绍了基于帧间差分法的视频目标检测方法以及基于均值漂移法的视频目标跟踪方法。在听觉跟踪方面,分析了传声器阵列接收到的空间声场信号模型,研究了基于传声器阵列的声学目标方位估计算法:CBF算法、MVDR算法和RCB算法。然后通过仿真实验模拟、比较和讨论了信噪比、采样点数等因素对听觉定位方法性能的影响。考虑到嵌入式系统的必要性,以及系统在实际应用中的成本和尺寸,本文采用了带有7个数字全向MEMS麦克风的小孔径阵列,该阵列半径为4.5 cm,满足了系统的小型化要求。宽带波束形成和均值漂移算法分别应用于听觉和视觉数据处理。声学定位结果表明,平均角度误差小于3°,为视觉跟踪模块定位摄像头视场外的目标提供了精确的初始视野。视觉、听觉联合跟踪实验在正常的办公室环境下进行,测试结果表明本系统的跟踪成功率为86.7%,且满足实时性要求。