论文部分内容阅读
计算机视觉中对空间视觉的研究近年来一直是热门研究领域,而图像匹配技术则是计算机视觉对现实环境空间认知的关键环节。为使真实环境中同一场景因为光照与传感器位置及感光等复杂多样的变化下保证图像匹配的正确性,多种图像匹配方法应运而生,而基于图像局部不变性特征的图像匹配算法取得了非常好的效果。SIFT则是图像局部不变性特征算法中综合性能最优的算法之一,但其算法较为复杂且计算量大,难以满足有实时性需求或高效率的大规模图像匹配应用,如实时视频拼接和大规模三维重建等。为解决基于SIFT算法的图像匹配相关应用的低实时性低效性短板,本文研究提出基于SoPC平台的SIFT特征提取、描述与匹配加速解决方案。本研究从基于数字逻辑设计的SIFT算法优化入手,利用SoPC平台ARM+FPGA的结构,将复杂的SIFT算法的算法流程控制部分在ARM端实现,而高计算量的部分则由FPGA端并行加速。主要研究工作包括:(1)针对FPGA特性,将SIFT算法各个步骤做出适当调整与优化。特征提取环节中,提出基于FPGA的SIFT尺度空间的并行方案以及高斯滤波器的定点化与结构优化设计,在满足尺度连续性的同时加速特征的提取;特征描述环节中,提出优化的更适用于数字逻辑实现的描述子生成方案,在实现特征旋转与尺度不变性的前提下,避免了复杂的邻域坐标旋转;特征匹配环节,使用时间并行与空间并行相结合的优化设计方案,极大的提高图像匹配系统的实时性。(2)针对SoPC平台的结构特性,将算法流程控制与系统数据交互放在ARM通用处理器端实现,可灵活调配系统的SIFT特征生成与匹配并行执行,大大提高系统的计算效率与实时性。(3)基于优化的SIFT算法,在FPGA端设计并实现算法的各个功能模块,在保证算法旋转、尺度不变性等特性的基础上,着重于提升计算效率与节省硬件资源消耗。提出基于流水线设计的高斯行列滤波等模块的数字逻辑设计,令模块中与模块间各部分可同时处于工作状态而无需等待;提出基于空间并行的描述子匹配等模块的数字逻辑设计,通过模块的多次例化,直接将计算效率成倍提升;提出转置FIR结构的高斯行滤波与邻域窗模块设计,可比普通结构节省近一半的硬件资源。针对SIFT算法各种特性与实拍场景所做系统测试,对两张尺寸为640×512大小的图像做匹配,在满足旋转与尺度不变性且对投影变换和光照具有较好鲁棒性的同时,仅需约30ms即可得到匹配结果,完全满足实时性图像匹配应用的需求。