论文部分内容阅读
电子稳像是将电子科学和数字图像处理相结合的新一代稳像技术。相比于传统的机械稳像和光学稳像,电子稳像技术由于具备体积小、精度高、成本低等优点,逐渐成为当前稳像技术的主要研究方向,广泛应用于机载、舰载、车载等各种场合。由于这些摄像载体在拍摄过程中容易受到外界因素的干扰,从而导致输出的视频序列出现不规则的抖动,使得视频中的图像信息不能得到有效的利用。电子稳像技术的主要目的就是消除视频的帧间抖动,提高视频质量和观测效果。论文分析了基于特征点匹配的电子稳像基本原理,以待测图像像素点与其半径为3的圆周上16个像素点的灰度差值为基准计算整幅图像的对比度,使其作为FAST特征点检测算法的动态阈值,能够针对不同条件下的视频图像检测出合适的特征点个数。接着采用非极大值抑制方法对检测到的特征点进行筛选,降低了图像中特征点的聚集现象。通过计算每个特征点邻域的灰度质心,有效改善了 BRIEF算法旋转不变性差的问题,使其能够对任意旋转角度的图像进行特征点描述,通过汉明距离和2近邻方法匹配两幅图像的特征点,采用PROSAC算法进一步筛选错误的匹配点对,减少了错误的匹配点对,并通过仿射变换模型计算全局运动矢量。采用Kalman滤波分离全局运动矢量中的主观运动矢量和随机抖动分量。最后通过双线性插值的方式对抖动图像进行补偿,并利用参考帧图像对补偿后图像的未定义像素区域进行重建。传统的电子稳像系统都是以计算机软件的方式实现的,其固有的串行工作模式使得计算机难以达到对运算量要求过高的电子稳像系统实时性要求。所以,论文搭建了电子稳像系统硬件平台,以ALTERA公司STRATIXⅣ系列的FPGA为控制核心,实现了稳像系统的硬件电路设计,增强系统应用的实时性,该系统主要包含了稳像处理单元、系统总线和存储模块、视频的输入输出模块。稳像系统通过OV5642摄像头为其提供输入视频源,送入视频采集模块,然后将视频中有效的图像信息传输给稳像处理单元,最后将处理后的视频序列输出到VGA显示器上进行显示。其中稳像处理单元包括图像的特征点提取、特征点描述和匹配、计算全局运动矢量、Kalman滤波以及图像恢复等模块,通过系统总线和外部存储实现各功能模块间的数据传输和缓存。接下来采用MENTOR公司的Modelsim软件对整个电子稳像硬件系统各模块进行了功能验证,给出了实验仿真结果。最后在FPGA开发板上进行稳像系统的板级验证,给出了系统的性能、功耗。实验结果表明,本文稳像系统平合能够对最大分辨率为1024×768、帧速率为28fps的视频图像的平移和旋转抖动进行恢复。