论文部分内容阅读
信息获取80%的来源是眼睛,而双目立体视觉技术研究是模拟视觉系统来获取真实世界信息的系统,是计算机视觉中一个研究热点。立体匹配有广泛的应用领域,如目标检测,无人飞行器,景区门票闸口的人脸匹配等,其研究重点主要集中匹配精度和匹配速度两个方面上。目前研究者们在提高视差图的匹配精度和运行速率方面做出了大量的研究,但是一些立体匹配算法仍然存在一些欠缺。本文针对这些问题在匹配算法上进行了改进,主要内容如下:1)提出了一种新的半全局立体匹配算法。该算法在路径代价聚合加入两种树形结构。经典的半全局算法在代价聚合的路径选取方面存在一些欠缺,无论是八个方向还是十六个方向都不能完全照顾到整幅图像的像素点,所以在稀疏纹理区域、像素不连续区域误匹配率偏高。本文在代价聚合路径处做出改变,把原先的聚合路径变为四条,充分利用待匹配点周围的像素,增加了匹配准确率,节省了时间。2)通过分析利用传统卷积神经网络(Convolutional Neural Network,简称CNN)计算初始匹配代价的优缺点,改进了CNN的网络结构。本文提出利用CNN与空间金字塔池化(Spatital Pyramid Pooling,简称SPP)相结合的一种网络结构(SPP_CNN)。针对网络输入的图像对尺寸不一致问题,在最后卷积层加入金字塔池化层。SPP_CNN的输入数据为左右两幅图像,网络最终通过一系列卷积过程得出原始匹配代价函数。同时对初始匹配代价计算结果的影响因素进行了研究。通过实验结果表明,该方法使初始匹配的错误率得到了改善。3)提出了一种结合半全局立体匹配算法与自适应窗口匹配算法相结合的匹配代价聚合方法。匹配窗口的大小的选择问题将决定了局部匹配算法的匹配精度。本文在用SPP_CNN网络计算初始匹配代价后,将半全局立体匹配算法和自适应窗口匹配算法相结合用于匹配的代价聚合。立体匹配过程中容易出现对稀疏纹理区域匹配效果不理想、遮挡等区域容易出现视差具有较高的误匹配率等问题。本文在视差后处理阶段采用左右一致性检测、亚像素增强以及滤波对立体匹配后产生的视差图进行视差误匹配点修正,以便对初始视差图的错误匹配率有所缓解,进一步获得具有较高精度的稠密视差图。实验结果表明,这种方法具有较好的灵活性、可以获得具有较高匹配精度的视差图和消除噪声点影响。本文改进的结合树形结构的半全局立体匹配算法,将初始的代价聚合路径由十六条减少为四条,并将待匹配点周围的像素充分利用。结合空间金子塔的卷积神经网络结构,解决了输入图像的尺寸不一致问题。与传统的算法相比,匹配精度有了明显提高,改进后的算法与传统的算法相比匹配效率也有了一定的提升。