论文部分内容阅读
深度信息在车辆自动驾驶系统、机器人导航、三维重建等计算机视觉任务中发挥着非常重要的作用。立体匹配是一种经济便捷的从多个视图中获取深度信息的技术。高精度的匹配算法往往会消耗大量的计算资源和较长的运行时间。为了在资源有限的硬件平台上实现实时的立体视觉系统,设计硬件友好的高精度匹配算法具有重要意义。本文针对实时的高精度立体匹配算法开展研究,主要工作如下:(1)面向基于半全局匹配的深度信息估计算法,本文设计了一种两周期分时复用的资源高效的流水线硬件架构。其中对输入图像进行降采样处理来提升系统吞吐率,跳列、代价量化等策略来减少硬件资源消耗,并提出加权路径代价聚合来提升算法精度。基于Zynq-7 FPGA对所提出的架构进行了性能评估,在200MHz频率和128视差范围下系统的吞吐率可达到1280×960@1 16Hz,MDE/s 为 18245。(2)基于卷积神经网络,设计了一种端到端的立体匹配网络,FPN(Feature Pyramid Network)-Net。在网络中引入ResNet网络来提取特征,并利用特征金字塔网络进行多尺度信息的融合。为了更加充分学习上下文信息,设计了具有编解码架构的沙漏堆叠的网络进行代价聚合。在KITTI2015测试集上视差图的平均误匹配率为1.93%,在现有公开算法中排行第7。(3)为了使FPN-Net更加硬件友好,几种模型压缩的方法被用来降低网络模型参数、减少浮点运算次数以降低庞大计算和存储需求。主要包含特征提取模块的网络层数压缩,三维卷积网络的紧凑型网络设计。参数减少了 75.9%,FLOPs减少了 58.9%,在KITTI2015测试集上误匹配率仅增加0.42%。对网络中的权重和偏置等参数,进一步提出定点化策略,将网络模型的存储量降低了 74%。实验结果表明,基于半全局匹配算法设计的硬件架构在资源与精度之间取得了很好的均衡。基于CNN实现的FPN-Net与其他端到端网络相比,通过特征金字塔网络和沙漏网络加强对上下文信息的学习,在相当运行时间下可以获得更加精确的视差图。针对FPN-Net,所使用的模型压缩方法能够极大的减少冗余参数和浮点运算次数,参数定点化可以进一步降低模型存储要求。