当今和谐社会仍会存在一些安全问题,诸如抢劫,暴力袭击等。实时的视频监控成为对某些案件预警与侦破的重要手段。基于视频信号的运动目标检测与音频信号的声源定位相结合,是实现可疑目标准确实时追踪的一个合理途径,其本质可归属于数学问题。本课题系北京航天二院委托研究“863”项目的子课题,本文的研究将为对运动目标的后续跟踪以及行为识别,动目标危险预警等提供必要的理论准备。本文研究的主要内容是通过异常声响的判断来作为选择声源定位麦克风以及做检测可转动的云台摄像机的依据,然后进行并行处理的计算方法。首先给出了视频信号的运动目标检测基本原理,选择了更适合云台摄像机处理的三帧差分检测算法,提出了一种改进的三帧差分算法,其加入了高斯滤波,边缘算子等处理手段,通过对仿真结果的分析可知,此算法检测结果更加精确,改善了三帧差分法易出现目标空洞以及断裂的缺点,是比较理想的检测方法。然后在音频信号声源定位的基本方法基础上,对异常声响进行了研究,给出了声音是否为异常声响的判断方法以及确定主、次麦克风进行声源定位的依据并提出了基于声达时间差的三元麦克风阵列的定位算法,进行了对仿真的定位结果的分析,证明此算法是符合定位标准的。最后,提出了一种声源定位与云台摄像机协同处理的并行算法,通过异常声响的判断以及主、次麦克风的选取,提出了一种优化的摄像头的布置方法,通过调用相应位置的摄像头进行转动,进一步检测监控,然后进行了转角误差的计算,论证了这种并行计算方法的可行性,在实际的场景中,该算法可以满足实时性。