论文部分内容阅读
摘 要：针对基于sift特征匹配的电子稳像算法存在数据量大、耗时长等问题，本文提出了基于PCA-SIFT特征匹配和Kalman滤波的电子稳像算法。首先采用PCA-SIFT提取参考帧中的特征点，在当前帧找到匹配的特征点；然后采用随机抽样一致性（RANSAC）算法消除误匹配的特征点对，减少场景中的局部运动的影响，提高了全局运动参量的估计准确性；最后利用Kalman滤波所获得的摄像机的随机抖动参数对当前帧进行运动补偿。
關键词：电子稳像；特征匹配；全局运动估计；Kalman滤波
1 引言
应用于车载、无人机、舰船等运动平台或野外监控系统的摄像系统往往会由于自身运动导致输出图像序列存在严重抖动，从而对视频监控及后续图像处理产生不利影响。为了消除图像序列的异常抖动，人们提出了机械稳像、光学稳像以及电子稳像这三种方法。其中电子稳像技术是将电子、计算机、数字信号处理等技术融为一体的新一代实现图像序列稳定的技术。与传统的机械和光学稳像系统相比，电子稳像系统具有易操作、稳像精度高、体积小以及功耗低等优点。因此，该技术已经被广泛应用于摄像机抖动的检测和消除、视频压缩、运动目标的检测和跟踪以及图像拼接等领域。
电子稳像技术主要包括：运动估计、运动滤波和运动补偿。运动估计的主要目的是找出帧间的全局运动轨迹，选用合适的运动模型并计算其运动参数。根据运动估计方法的不同，可将电子稳像算法大致分为：基于块匹配的方法、基于灰度投影的方法、基于位平面匹配的方法和基于特征的方法。其中块匹配法、灰度投影法和位平面匹配法，都是针对摄像机的平移运动。块匹配算法是基于块内运动一致性的假设；投影算法要求图像具有一定的对比度和明显的灰度变化；位平面匹配方法是一个比较新的算法，它只利用图像的一个位平面进行匹配，速度快，但是精度有待于提高。因此，当图像发生复杂运动时，通常采用基于特征点匹配的方法。
针对视频序列的复杂抖动如平移、旋转和变焦运动，本文提出了基于PCA-SIFT特征匹配和Kalman滤波的电子稳像算法。该算法首先通过PCA-SIFT特征点提取、特征点匹配和特征点预处理得到全局运动估计参数；然后通过自适应高通滤波法对全局运动矢量进行滤波，从而获得摄像机的随机抖动参数；接着，利用由滤波获得的随机抖动参数对各帧图像进行补偿。最后，采用图像差影法和峰值信噪比作为稳像质量的评价方法。其算法流程如图1所示。
图1 算法流程图
2 基于PCA-SIFT特征点匹配的全局运动估计
2.1 特征点提取
抖动的视频帧间常同时存在图像的缩放、旋转和平移，这给运动矢量的估计带来了极大的困难。图像中的特征点具有分散性，这些分散的特征点能完全反映出图像中的运动信息，所以能用匹配上的特征点来估计运动矢量。由于PCA-SIFT算法不仅继承了SIFT算法在提取特征点时的优点，而且克服了SIFT算法计算量大，耗时长的缺点，因此本文利用PCA-SIFT算法提取图像中的特征点。Sift算法首先在尺度空间进行特征检测，并确定特征点的位置和特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该特征点的方向特征，以实现算子对尺度和方向的无关性。PCA-SIFT描述子与标准SIFT描述子具有相同的亚像素位置、尺度和主方向，但在特征描述符生成时有所不同，PCA-SIFT用PCA将传统SIFT的128维特征向量进行降维，以达到更精确的表达方式。
2.2 特征点匹配
2.2.1 最近次近邻法粗匹配
当对相邻两帧图像分别使用PCA-SIFT特征提取算法找出各自的特征点并进行精确定位，生成对应的特征描述向量以后，就可以通过计算其描述符之间欧氏距离的相似度来作为判定特征点匹配的准则。两个特征向量间的欧氏距离值越小，就说明这两个点越相似，他们之间的匹配程度就越高。
考虑到最近邻并不能保证匹配正确，匹配的正确性还需后续的检验过程，这就是匹配对的提纯问题，这里采用最近次近邻法对特征点对进行提纯。
2.2.2 RANSAC精确匹配
为了提高全局运动估计的精度，本文采用RANSAC算法来消除误匹配点对和局部运动对全局运动参量估计的影响。全局运动是指由于摄像机位置或者参数变化引起的图像整体变化，局部运动是指图像序列场景中个别物体的运动。
2.3 全局运动参数估计
将经精确匹配后的特征点对，利用最小二乘法可得到仿射参数矩阵，从而可获得全局运动估计参数。
3.运动滤波和运动补偿
由于我们所获得的全局运动矢量不仅有摄像机的随机抖动，也有摄像机的正常扫描运动。而对图像进行补偿时，需要补偿的是摄像机的随机抖动，若直接用全局运动矢量对图像进行补偿，将会使图像产生跳跃感。因此，需要对所获得的全局运动矢量进行滤波处理。本文采用Kalman 滤波算法对以求得的全局运动矢量进行滤波。
4.结束语
文中提出了一种基于PCA-SIFT特征匹配和自适应高通滤波的电子稳像算法，通过使用PCA-SIFT算法对相邻两帧图像进行特整点提取，特征点匹配和消除误匹配点，从而获得精确的全局运动矢量；然后利用通过自适应高通滤波获得的摄像机的随机抖动参量对图像进行补偿，从而获得平稳的图像序列。
参考文献
[1] 王志民，徐晓刚.电子稳像技术综述[J].中国图象图形学报，2010（3）：470-480.
[2] 刘小军，杨杰，孙坚伟等.基于 SIFT 的图像配准方法 [J][J].红外与激光工程，2008，37（1）：156-160.
[3] 杨晓敏，吴炜，卿粼波，等.图像特征点提取及匹配技术[J].光学 精密工程，2009，17（9）：2276.
[4] 马莉，韩燮.主成分分析法（PCA）在 SIFT 匹配算法中的应用[J].电视技术，2012，36（1）：129-132.
[5] 杨占龙，郭宝龙.基于特征点的图像配准与拼接技术研究 [D][D].西安：西安电子科技大学，2008.
[6] 朱娟娟，郭宝龙.电子稳像的特征点跟踪算法[J].光学学报，2006，26（4）：516-521.
（作者单位：陕西国华现代测控技术有限公司）
關键词：电子稳像；特征匹配；全局运动估计；Kalman滤波
1 引言
应用于车载、无人机、舰船等运动平台或野外监控系统的摄像系统往往会由于自身运动导致输出图像序列存在严重抖动，从而对视频监控及后续图像处理产生不利影响。为了消除图像序列的异常抖动，人们提出了机械稳像、光学稳像以及电子稳像这三种方法。其中电子稳像技术是将电子、计算机、数字信号处理等技术融为一体的新一代实现图像序列稳定的技术。与传统的机械和光学稳像系统相比，电子稳像系统具有易操作、稳像精度高、体积小以及功耗低等优点。因此，该技术已经被广泛应用于摄像机抖动的检测和消除、视频压缩、运动目标的检测和跟踪以及图像拼接等领域。
电子稳像技术主要包括：运动估计、运动滤波和运动补偿。运动估计的主要目的是找出帧间的全局运动轨迹，选用合适的运动模型并计算其运动参数。根据运动估计方法的不同，可将电子稳像算法大致分为：基于块匹配的方法、基于灰度投影的方法、基于位平面匹配的方法和基于特征的方法。其中块匹配法、灰度投影法和位平面匹配法，都是针对摄像机的平移运动。块匹配算法是基于块内运动一致性的假设；投影算法要求图像具有一定的对比度和明显的灰度变化；位平面匹配方法是一个比较新的算法，它只利用图像的一个位平面进行匹配，速度快，但是精度有待于提高。因此，当图像发生复杂运动时，通常采用基于特征点匹配的方法。
针对视频序列的复杂抖动如平移、旋转和变焦运动，本文提出了基于PCA-SIFT特征匹配和Kalman滤波的电子稳像算法。该算法首先通过PCA-SIFT特征点提取、特征点匹配和特征点预处理得到全局运动估计参数；然后通过自适应高通滤波法对全局运动矢量进行滤波，从而获得摄像机的随机抖动参数；接着，利用由滤波获得的随机抖动参数对各帧图像进行补偿。最后，采用图像差影法和峰值信噪比作为稳像质量的评价方法。其算法流程如图1所示。
图1 算法流程图
2 基于PCA-SIFT特征点匹配的全局运动估计
2.1 特征点提取
抖动的视频帧间常同时存在图像的缩放、旋转和平移，这给运动矢量的估计带来了极大的困难。图像中的特征点具有分散性，这些分散的特征点能完全反映出图像中的运动信息，所以能用匹配上的特征点来估计运动矢量。由于PCA-SIFT算法不仅继承了SIFT算法在提取特征点时的优点，而且克服了SIFT算法计算量大，耗时长的缺点，因此本文利用PCA-SIFT算法提取图像中的特征点。Sift算法首先在尺度空间进行特征检测，并确定特征点的位置和特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该特征点的方向特征，以实现算子对尺度和方向的无关性。PCA-SIFT描述子与标准SIFT描述子具有相同的亚像素位置、尺度和主方向，但在特征描述符生成时有所不同，PCA-SIFT用PCA将传统SIFT的128维特征向量进行降维，以达到更精确的表达方式。
2.2 特征点匹配
2.2.1 最近次近邻法粗匹配
当对相邻两帧图像分别使用PCA-SIFT特征提取算法找出各自的特征点并进行精确定位，生成对应的特征描述向量以后，就可以通过计算其描述符之间欧氏距离的相似度来作为判定特征点匹配的准则。两个特征向量间的欧氏距离值越小，就说明这两个点越相似，他们之间的匹配程度就越高。
考虑到最近邻并不能保证匹配正确，匹配的正确性还需后续的检验过程，这就是匹配对的提纯问题，这里采用最近次近邻法对特征点对进行提纯。
2.2.2 RANSAC精确匹配
为了提高全局运动估计的精度，本文采用RANSAC算法来消除误匹配点对和局部运动对全局运动参量估计的影响。全局运动是指由于摄像机位置或者参数变化引起的图像整体变化，局部运动是指图像序列场景中个别物体的运动。
2.3 全局运动参数估计
将经精确匹配后的特征点对，利用最小二乘法可得到仿射参数矩阵，从而可获得全局运动估计参数。
3.运动滤波和运动补偿
由于我们所获得的全局运动矢量不仅有摄像机的随机抖动，也有摄像机的正常扫描运动。而对图像进行补偿时，需要补偿的是摄像机的随机抖动，若直接用全局运动矢量对图像进行补偿，将会使图像产生跳跃感。因此，需要对所获得的全局运动矢量进行滤波处理。本文采用Kalman 滤波算法对以求得的全局运动矢量进行滤波。
4.结束语
文中提出了一种基于PCA-SIFT特征匹配和自适应高通滤波的电子稳像算法，通过使用PCA-SIFT算法对相邻两帧图像进行特整点提取，特征点匹配和消除误匹配点，从而获得精确的全局运动矢量；然后利用通过自适应高通滤波获得的摄像机的随机抖动参量对图像进行补偿，从而获得平稳的图像序列。
参考文献
[1] 王志民，徐晓刚.电子稳像技术综述[J].中国图象图形学报，2010（3）：470-480.
[2] 刘小军，杨杰，孙坚伟等.基于 SIFT 的图像配准方法 [J][J].红外与激光工程，2008，37（1）：156-160.
[3] 杨晓敏，吴炜，卿粼波，等.图像特征点提取及匹配技术[J].光学 精密工程，2009，17（9）：2276.
[4] 马莉，韩燮.主成分分析法（PCA）在 SIFT 匹配算法中的应用[J].电视技术，2012，36（1）：129-132.
[5] 杨占龙，郭宝龙.基于特征点的图像配准与拼接技术研究 [D][D].西安：西安电子科技大学，2008.
[6] 朱娟娟，郭宝龙.电子稳像的特征点跟踪算法[J].光学学报，2006，26（4）：516-521.
（作者单位：陕西国华现代测控技术有限公司）