论文部分内容阅读
随着人工智能时代的到来,基于双目的深度图获取技术成为了计算机视觉领域中的一个热门的研究方向,是机器设备对三维场景感知的核心技术。而基于双目的深度图获取技术的关键则是立体匹配,以使用更少的时间获得更精确的深度图为目标,本文围绕高效的立体匹配算法进行研究,具体研究内容为:(1)之前的基于深度学习的边缘检测算法生成的边缘图在细节上比较粗糙且模糊,对立体匹配的约束存在误差。针对这些问题,本文提出了一种基于卷积神经网络的高效边缘检测算法作为立体匹配算法的边缘约束。为了提高模型的特征提取能力,本算法在主干网络中引入“注意力”机制,采用Squeeze-and-Excitation模块高效提取图像边缘特征。为了保留边缘图像的更多细节信息,本算法去掉主干网络中的部分下采样以提高特征的分辨率,并使用扩张卷积技术增大模型感受野。为了充分融合边缘的多尺度特征,本算法设计一个基于残差结构的特征融合模块,将不同尺度的边缘图进行融合,提高边缘图的精度。实验结果表明该边缘检测算法可以输出更精细的边缘,对光照、阴影等噪声的鲁棒性更强。(2)为了解决深度图在边缘区域过度平滑、模糊等问题,本文提出了一种基于边缘约束的高效立体匹配算法。本算法将基于空间池化金字塔的立体匹配网络与高精度的边缘检测网络融合为一体,形成一个多任务学习机制。为了使立体匹配分支提取更丰富的几何特征与细节特征,本算法设计了一个高效的特征融合模块,将边缘检测分支中的多尺度边缘特征融入立体匹配分支中。为了使立体匹配分支能够正确的感知图像中的边缘区域与非边缘区域,本算法以边缘检测分支生成的边缘图作为边缘指导并在立体匹配分支的损失函数中增加一个边缘感知的惩罚项,通过增大损失函数的方式对边缘感知错误的行为进行惩罚。实验结果表明该立体匹配算法可以很大程度上缓解深度图中边缘区域过度平滑、模糊等问题。(3)针对基于神经网络的立体匹配算法参数量巨大、可移植性差等问题,本文提出了一种基于边缘约束的轻量级快速立体匹配算法。为了解决特征提取网络中参数冗余的问题,本算法提出了一种基于Shuffle V2模块的轻量级特征提取网络,降低该模块的参数量并提高其表达能力。为了降低相似度计算网络中的3D卷积算子数量,本算法改进了相似度计算方式并用2D卷积代替3D卷积,解耦视差维度的相关性,在降低参数量的同时,提高模型泛化能力。为了对视差细节进行修复,本算法使用一种基于注意力机制的视差精修模块,对初始视差进行误差修正,进一步提高视差的精度。实验结果表明,本算法在保证视差精度不受影响的前提下将速度提升两倍。