论文部分内容阅读
随着信息科学技术和计算机图形学的发展,全景视频拼接技术的应用也越来越广泛,如计算机视觉、虚拟现实、汽车领域等,在汽车领域的无人驾驶、车载终端监控和全景辅助泊车等系统中都有体现。视频拼接是图像拼接的扩展,是在原有维度基础上增加了时间这一维度,要想输出流畅的全景视频,每一帧图像的拼接必须足够快,这就对单纯的图像拼接所用到的配准和融合算法有了更高的要求。现阶段车载全景视频拼接技术仍处于热门研究中,如何实现基于车载实时、高质量的全景视频拼接仍然是一项重大挑战。因此,对车载全景视频拼接技术进行深入研究有着重要的理论意义和应用价值。本文主要针对车载视频图像拼接算法的实时性、全景视频拼接图像的重影问题,进行了配准和融合算法方面的研究与改进,并且利用CPU与GPU的异构体系,设计了一个能够实时感知车载全景视频的系统。本文具体的研究内容和主要工作如下:1.为了解决车载全景视频拼接的实时性问题,提高图像配准融合的速度,本文提出了一种基于ORB改进SURF的图像配准算法(FSURF)。首先依据区域分块思想对待拼接的两幅图像进行分块,对每组子块对进行区域相关性验证求出最佳子块对,接着通过ORB中的FAST特征点检测算法对其进行特征点提取,同时采用Hessian矩阵消除不稳定的边缘响应,然后在为每个特征点分配描述符的同时加入灰度值差分,增强了算法对光照的鲁棒性,最后采用RANSAC算法进行误匹配点的剔除。实验结果和数据表明,该算法较传统的SURF算法有明显的速度优势,并且特征点描述时充分利用了灰度信息,配准融合结果对图像的模糊和光照差异等变化具有了更好的鲁棒性。2.对于融合阶段,因运动目标的存在可能导致拼接图像存在的重影现象,本文提出了一种基于最佳缝合线的多分辨率融合算法。首先利用曝光校正技术对因曝光问题产生的帧图像间过渡不平滑现象进行校正,然后在校正后的图像重叠区域内根据像素求得的颜色插值和依据Sobel算子求取的结构差值求得最佳缝合线,最后结合多分辨率融合算法在不同分辨率层上进行融合。拼接实验结果表明,使用该融合算法,融合图像既实现了平滑过渡,又消除了重影现象,得到了完整的清晰的全景视频图像。3.最后设计了一个能够实时感知车载全景视频的系统。本文虽然对传统SURF算法进行了改进,并且同时利用了区域分块思想对车载全景视频拼接算法进行了加速,但是单纯的依靠软件还没能达到实时输出流畅视频的效果,为解决该问题,本文提出在车载全景视频拼接系统中利用CPU与GPU的异构体系,通过高性能的显卡、GPU强大的浮点运算能力和CPU的多线程技术,将系统全面提速。实验验证,该方案基本解决了一开始提到的视频拼接的实时性问题,达到了每秒不少于15帧图像的拼接。