PTZ(Pan-Tilt-Zoom)相机在安防中广泛应用,用于安防领域的视频监控系统一般通过多路独立的视频监视器观看,由于视频间是分散、相互独立的,监控人员往往因为信息不完整连贯而产生疏漏。视频增强虚拟环境技术(AVE)通过把二维视频嵌入三维虚拟场景,实现了虚景与实景相融合,抽象与现实相结合,有利于从宏观上把握视频与场景的空间关联,为地理场景的认知提供更为全面的时空信息,更为宏观的观察视角,更好地服务安防等领域。视频图像与虚拟三维场景融合的前提是相机在虚拟场景中的注册。通过引入人工标志物是相机注册的常用方法,但这种方法难以应用于相机动态调整的场景。大多数监控相机都是可以动态调整姿态与焦距.的PTZ相机,除非厂商软件支持,无法实时获取相机调整后的姿态和焦距等信息,从而造成视频与场景无法准确融合。本文基于计算机视觉的理论和技术,对PTZ相机视频与虚拟三维场景的融合方法进行了相关研究,主要研究内容与成果如下:(1)分析了相机的成像模型与虚拟场景中虚拟相机的成像模型的关系,并明确了相机内外参数与三维渲染引擎中虚拟相机设置参数的关系,在无需引入额外的人工标志物的情况下,通过反投影方法获得3D模型世界坐标,然后利用线性方法快速估计和非线性方法迭代优化求值相结合的方法,对视频相机的初始参数进行计算,实现相机在虚拟场景中的初始注册。(2)对PTZ相机参数的实时变化进行了分析,提出了基于计算机视觉理论的PTZ相机实时跟踪与注册方法。该方法首先通过视频帧全局特征快速检测出相机参数是否发生变化,然后再使用局部特征精确匹配对相机进行实时注册,确保PTZ相机调整后视频与虚拟场景的自动准确融合。上述方法既兼顾了融合效率与融合质量,也避免了人工调整的繁琐性和滞后性。(3)在视频相机已经注册的前提下,本文分析了虚拟相机投影视频纹理的原理,并结合ShadowMap阴影算法和GPU Shader技术,基于OpensSceneGraph三维渲染引擎实现了 PTZ相机视频与虚拟三维场景的实时融合。实验结果验证了本文方法的有效性和可靠性。本文在PTZ相机实时注册方面所做的相关研究也可以推广到移动相机视频的实时注册,有助于拓展视频增强虚拟环境的应用领域。