论文部分内容阅读
摘 要：视频全景拼接就是将多个从不同角度采集的视频画面拼接成一幅全景画面，广泛地应用于视频监控、地质勘测和军事侦察领域。本文主要论述了基于特征的视频全景拼接的实现步骤和配准算法，并对不同算法进行了比较，最后介绍了视频全景拼接技术所面临的技术难点。
关键词：视频全景拼接，图像配准，特征提取，实时性
1 引言
伴随着电子计算机的出现和数字多媒体技术的快速发展，人类获取信息的途径越来越多元化，视觉信息由于直观、易懂等优点而被广泛使用。但是在很多场合中，通过摄像头获取到的视觉信息具有片面性和局限性。为了解决这一问题，视频全景拼接技术应运而生，通过拼接，可以大大降低一个摄像头产生的视觉盲区。
视频全景拼接最关键的步骤是图像配准，基于特征的图像配准目前应用最为广泛。该方法利用一些像素突变的点或线、图像边缘等特征来完成图像配准。由于特征信息的数量和图像的像素数量比起来要大幅度缩减，因此需要进行比对的数据量也非常少;另外，由于特征信息能唯一标识一幅图，因此在数据匹配时误匹配相对较少，配准精度得到很大的提升。
2 实现步骤
基于特征的视频全景拼接的主要实现步骤包括图像采集、图像预处理、特征点提取、特征点匹配、图像融合。
（1）图像采集：图像采集一般通过摄像头进行，沿圆周每隔一定度数布置一个摄像头，每个摄像头采集的图像的视场角有一定角度重叠。
（2）图像预处理：对采集到的图像进行前期处理，以实现更好的图像配准和融合，主要包括镜头畸变校正、摄像机标定和图像投影变换等。
（3）特征点提取：包括特征检测和特征描述两个阶段。图像的特征点是指图像上的一些拐点、角点或边缘点，这些点具有平移、旋转、缩放、光照不变等特性。对于同一个事物，当其出现在两幅图像中时，特征点在两幅图像中相互匹配。
（4）特征点匹配：对于图像的特征点，通过一定的判别标准，寻找与其对应的特征点。一般将特征向量之间的欧式距离的大小作为判定特征向量间匹配与否的标准。再通过RANSAC方法剔除错误匹配点并拟合出图像单应性矩阵。特征点提取和特征点匹配统称为图像配准。
（5）图像融合：经过图像配准实现了两拼接图像中同一物体的对齐，但是由于两图像仍然存在颜色和亮度差异，因此直接拼接会出现明显的接缝。图像融合就是用来消除图像间的接缝，使最终的拼接图像更加自然。
3 基于特征的配准方法
3.1 基于SIFT特征
（1）特征检测
SIFT算法使用DoG算子作为高斯拉普拉斯函数的近似来建立尺度空间，并在其中查找局部极值点。局部极值点就是潜在的关键点，对这些极值点进一步筛选以获得更加精确的结果。SIFT算法主要剔除了一些低对比度的关键点和边缘关键点，保留特征较强的关键点，并为每个关键点赋予一个方向以实现图像的旋转不变性。
（2）特征描述
根据尺度在关键点周围选取一个邻域，计算邻域内的梯度值和方向。创建一个方向直方图，将到划分为36个区间。确定该直方图中的最大频数，将所有频数大于最大频数的方向区间用于计算该关键点的方向。关键点周围有一个的邻域，将其划分为16个大小的子块。对于每个子块，创建一个有8个方向区间的直方图，最终生成一个128维的特征向量。
3.2 基于SURF特征
（1）特征检测
SURF使用近似Hessian矩阵来检测特征点，并且使用积分图大幅地减少了计算量。SURF依靠Hessian矩阵行列式的局部最大值定位关键点位置。在每个候选关键点上，使用泰勒级数插值拟合方法确定该点的位置和尺度。最后依据其稳定程度确定特征点。
（2）特征描述
SURF描述符描述了以特征点为中心的某个邻域内像素灰度的分布情况，使用X方向和Y方向上的一阶Haar小波响应来构造特征向量。
3.3 基于ORB特征
（1）特征检测
FAST是一种特征检测算法，如果某像素与其邻域内足够多的像素相差较大，则该像素将被标记为角点。
（2）特征描述
BRIEF是一种二进制编码的特征描述符，生成速度快、匹配时间短，可以极大地提高图像配准的速度。以特征点为中心，取的邻域窗口。在窗口内随机选取一对点，比较二者像素的大小，并进行二进制赋值。重复选取256次，形成一个二进制串，即BRIEF特征描述符。
3.4 三种算法的比较
当两个匹配图像的比例，亮度和旋转度不同时，SIFT算法是有效的，但是它的计算却非常复杂，无法满足实时性要求。SURF是SIFT算法的改进算法，其提取的特征是尺度和旋转不变的，但是在光照变换剧烈，图像边缘抑制性方面，SIFT特征检测比SURF特征检测更为突出。虽然SURF算法的匹配速度有了很大的提高，但是和ORB算法等二元特征匹配算法之间仍然存在较大差距。ORB是一种实时算法，但它没有缩放不变，并且对亮度不敏感。当两个匹配图像的比例或亮度不同时，特征匹配的准确性将大大降低。
4 技术难点
4.1实时性问题
在视频全景拼接过程中，需要对每一帧图像进行处理，为了保证画面的连续性，必须在很短的时间内完成对每帧图像的拼接和融合，这就对拼接算法的实时性提出了很高的要求。
4.2图像畸变及光照问题
视频采集过程中，摄像头受外部因素和自身物理特性影响，导致采集到的图像和原始场景画面不一致，图像发生畸变。同时，由于图像各点的光照强度以及摄像头附近的光源强度存在差异，也会导致图像各点的颜色有所不同。
4.3复杂场景适应性
当摄像头模组处于復杂场景下，发生快速移动、抖动或者光线发生明显变化时，现有算法效果不佳，从而导致拼接图像出现重影、错位等一系列的拼接缺陷。
4.4系统平台
在图像算法领域常用的嵌入式处理器包括ARM、DSP、ASIC、PGA等，视频拼接算法复杂并且数据运算量大，因此系统平台的性能对视频拼接的效果也有较大的影响。如何在嵌入式平台算力有限的情况下提升算法性能就显得至关重要。
参考文献
[1]田玉晓，覃永新，陈文辉.画面拼接技术的FPGA实现综述[J].科技展望，2016，26（26）.
[2]熊哲源，熊小敏，吴胜益，袁幼平.图像拼接技术研究综述[J].科技资讯，2015，13（01）：15-16.
[3]文伟东，张明等.基于SIFT算法的全景图像拼接技术研究[J].计算机系统应用，2017，26（7）：227-231.
[4]王伟，陆佩忠.数字图像拼接技术[J].小型微型计算机系统，2006，27（7）：1347-1352.
关键词：视频全景拼接，图像配准，特征提取，实时性
1 引言
伴随着电子计算机的出现和数字多媒体技术的快速发展，人类获取信息的途径越来越多元化，视觉信息由于直观、易懂等优点而被广泛使用。但是在很多场合中，通过摄像头获取到的视觉信息具有片面性和局限性。为了解决这一问题，视频全景拼接技术应运而生，通过拼接，可以大大降低一个摄像头产生的视觉盲区。
视频全景拼接最关键的步骤是图像配准，基于特征的图像配准目前应用最为广泛。该方法利用一些像素突变的点或线、图像边缘等特征来完成图像配准。由于特征信息的数量和图像的像素数量比起来要大幅度缩减，因此需要进行比对的数据量也非常少;另外，由于特征信息能唯一标识一幅图，因此在数据匹配时误匹配相对较少，配准精度得到很大的提升。
2 实现步骤
基于特征的视频全景拼接的主要实现步骤包括图像采集、图像预处理、特征点提取、特征点匹配、图像融合。
（1）图像采集：图像采集一般通过摄像头进行，沿圆周每隔一定度数布置一个摄像头，每个摄像头采集的图像的视场角有一定角度重叠。
（2）图像预处理：对采集到的图像进行前期处理，以实现更好的图像配准和融合，主要包括镜头畸变校正、摄像机标定和图像投影变换等。
（3）特征点提取：包括特征检测和特征描述两个阶段。图像的特征点是指图像上的一些拐点、角点或边缘点，这些点具有平移、旋转、缩放、光照不变等特性。对于同一个事物，当其出现在两幅图像中时，特征点在两幅图像中相互匹配。
（4）特征点匹配：对于图像的特征点，通过一定的判别标准，寻找与其对应的特征点。一般将特征向量之间的欧式距离的大小作为判定特征向量间匹配与否的标准。再通过RANSAC方法剔除错误匹配点并拟合出图像单应性矩阵。特征点提取和特征点匹配统称为图像配准。
（5）图像融合：经过图像配准实现了两拼接图像中同一物体的对齐，但是由于两图像仍然存在颜色和亮度差异，因此直接拼接会出现明显的接缝。图像融合就是用来消除图像间的接缝，使最终的拼接图像更加自然。
3 基于特征的配准方法
3.1 基于SIFT特征
（1）特征检测
SIFT算法使用DoG算子作为高斯拉普拉斯函数的近似来建立尺度空间，并在其中查找局部极值点。局部极值点就是潜在的关键点，对这些极值点进一步筛选以获得更加精确的结果。SIFT算法主要剔除了一些低对比度的关键点和边缘关键点，保留特征较强的关键点，并为每个关键点赋予一个方向以实现图像的旋转不变性。
（2）特征描述
根据尺度在关键点周围选取一个邻域，计算邻域内的梯度值和方向。创建一个方向直方图，将到划分为36个区间。确定该直方图中的最大频数，将所有频数大于最大频数的方向区间用于计算该关键点的方向。关键点周围有一个的邻域，将其划分为16个大小的子块。对于每个子块，创建一个有8个方向区间的直方图，最终生成一个128维的特征向量。
3.2 基于SURF特征
（1）特征检测
SURF使用近似Hessian矩阵来检测特征点，并且使用积分图大幅地减少了计算量。SURF依靠Hessian矩阵行列式的局部最大值定位关键点位置。在每个候选关键点上，使用泰勒级数插值拟合方法确定该点的位置和尺度。最后依据其稳定程度确定特征点。
（2）特征描述
SURF描述符描述了以特征点为中心的某个邻域内像素灰度的分布情况，使用X方向和Y方向上的一阶Haar小波响应来构造特征向量。
3.3 基于ORB特征
（1）特征检测
FAST是一种特征检测算法，如果某像素与其邻域内足够多的像素相差较大，则该像素将被标记为角点。
（2）特征描述
BRIEF是一种二进制编码的特征描述符，生成速度快、匹配时间短，可以极大地提高图像配准的速度。以特征点为中心，取的邻域窗口。在窗口内随机选取一对点，比较二者像素的大小，并进行二进制赋值。重复选取256次，形成一个二进制串，即BRIEF特征描述符。
3.4 三种算法的比较
当两个匹配图像的比例，亮度和旋转度不同时，SIFT算法是有效的，但是它的计算却非常复杂，无法满足实时性要求。SURF是SIFT算法的改进算法，其提取的特征是尺度和旋转不变的，但是在光照变换剧烈，图像边缘抑制性方面，SIFT特征检测比SURF特征检测更为突出。虽然SURF算法的匹配速度有了很大的提高，但是和ORB算法等二元特征匹配算法之间仍然存在较大差距。ORB是一种实时算法，但它没有缩放不变，并且对亮度不敏感。当两个匹配图像的比例或亮度不同时，特征匹配的准确性将大大降低。
4 技术难点
4.1实时性问题
在视频全景拼接过程中，需要对每一帧图像进行处理，为了保证画面的连续性，必须在很短的时间内完成对每帧图像的拼接和融合，这就对拼接算法的实时性提出了很高的要求。
4.2图像畸变及光照问题
视频采集过程中，摄像头受外部因素和自身物理特性影响，导致采集到的图像和原始场景画面不一致，图像发生畸变。同时，由于图像各点的光照强度以及摄像头附近的光源强度存在差异，也会导致图像各点的颜色有所不同。
4.3复杂场景适应性
当摄像头模组处于復杂场景下，发生快速移动、抖动或者光线发生明显变化时，现有算法效果不佳，从而导致拼接图像出现重影、错位等一系列的拼接缺陷。
4.4系统平台
在图像算法领域常用的嵌入式处理器包括ARM、DSP、ASIC、PGA等，视频拼接算法复杂并且数据运算量大，因此系统平台的性能对视频拼接的效果也有较大的影响。如何在嵌入式平台算力有限的情况下提升算法性能就显得至关重要。
参考文献
[1]田玉晓，覃永新，陈文辉.画面拼接技术的FPGA实现综述[J].科技展望，2016，26（26）.
[2]熊哲源，熊小敏，吴胜益，袁幼平.图像拼接技术研究综述[J].科技资讯，2015，13（01）：15-16.
[3]文伟东，张明等.基于SIFT算法的全景图像拼接技术研究[J].计算机系统应用，2017，26（7）：227-231.
[4]王伟，陆佩忠.数字图像拼接技术[J].小型微型计算机系统，2006，27（7）：1347-1352.