场景监控已经成为信息时代必不可少的视频采集方式,并且发展出了多种形式。仅仅依靠人工方式对场景监控进行审核和查找已经很难满足目前爆发式增长的视频数据审核需求,因此,能够自动处理视频内容的视频摘要技术引起了人们极大的关注。目前传统的视频摘要技术在面对大场景的监控时,总是会存在生成的摘要中目标信息模糊不清、有效性差和高延迟等问题。本文针对以上问题并结合双摄像机的特点提出了一种双摄像机实时视频摘要系统。本文提出的双摄像机实时视频摘要系统采用两个规格不同的摄像机进行高低搭配,两个不同规格的摄像机协同工作的基础是两个相机拥有统一的参考坐标系。本文以张正友教授的双摄像机标定为基础研究了标定方法,该方法使两个摄像机之间拥有统一的参考坐标系,并根据两个相机标定后的统一参考坐标进行目标在两个相机中同时定位,以达到一个相机中的目标可以在另一个相机中同步跟踪的目的。结合标定的结果,使用清晰度一般的相机作为场景监控相机固定在监控区域上方,并对场景中的目标采用基于空间约束的混合高斯背景建模的方法进行目标的实时检测,再用改进的Camshift方法对检测到的目标进行实时跟踪。针对大场景中的多个目标,制定合适的控制策略以实现对场景中的每个目标进行标识、计算轨迹、估算速度、定位优先区域、优先级排序等操作,以实现场景中的每个目标都能有序、有效的进行信息采集。通过设计云台摄像机的控制模块,使其作为目标抓拍相机,能够根据控制策略实现两个摄像机实时地协同工作,场景监控相机进行目标检测和跟踪采集目标在场景中的信息,目标抓拍相机进行目标高清信息的抓拍。最终,根据固定相机采集的视频信息和云台相机采集的目标高清信息进行整合,生成包含目标视频、轨迹、高清图像等多种形式的视频摘要。