论文部分内容阅读
在我国多发自然灾害和事故灾难的情况下,为了保证救援人员的人身安全,发展远程无人操作平台是面向应急救灾安全保障的新需求。为了向操作员提供准确的远程环境感知能力,基于计算机视觉手段提取远程环境中各类目标物的方位、姿态、深度等信息,可以规避潜在危险并实现直观精细地操作辅助。针对远程场景中的目标深度感知需求,本文从视觉目标跟踪和双目立体深度估计两个方向研究了计算机视觉理论算法,取得了一定的理论研究成果,并设计了一种算法实施方案。近年来,基于传统数学模型的视觉跟踪方法和基于深度神经网络的立体匹配方法得到了研究人员的广泛关注和持续跟进。一方面,复杂环境中随时间变化的目标形态和目标外观对现有跟踪算法提出的挑战仍然存在,如何挖掘目标局部稳定外观特征,实现快速准确的视觉跟踪仍然需要深入研究。另一方面,最新的立体匹配算法通过设计复杂的深度神经网络结构来降低匹配误差,但无法实时输出高分辨率深度图。如何通过简化创新网络结构来提高立体匹配算法推理效率,并对深度图中的边缘等精细结构实现准确预测,面向实用化改进立体匹配网络仍是难点问题。本文首先完整地回顾总结了基于稀疏表示模型和基于相关滤波模型的视觉跟踪方法中的数学模型和算法思想,概括了基于深度神经网络的立体匹配方法的主要发展历程,然后分别提出了两种准确的目标跟踪算法以及两种轻量的立体匹配网络。在所提出的跟踪算法中,一定程度探索了稀疏表征思想和相关滤波思想的结合。在所提出的立体匹配算法中,则探讨了输入高分辨率彩色图的边缘纹理和预测视差图的视差边缘之间的映射关系。主要工作可以分为以下四点:(1)针对现有基于正向稀疏表示模型的目标跟踪算法中特征提取和编码过程的冗余重复问题,提出了一种基于循环反向稀疏模型的实时稀疏表示跟踪算法。该算法基于反向稀疏表示模型,使用由循环移位算子生成的候选目标样本集合作为稀疏字典,对目标模板进行稀疏编码。由于只对目标模板反向求解稀疏编码,并且将包含循环移位目标候选特征集合的优化式转换到频域求解,所提出的算法优化过程十分高效。相比经典的稀疏表示跟踪算法,综合性能表现更好,运行速度也大大加快。(2)针对现有基于鉴别相关滤波的目标跟踪算法忽略目标内部局部空间结构信息的问题,提出了一种基于空间树形结构的稀疏正则化相关滤波跟踪算法。该算法将表达目标内部空间层次化结构的组稀疏正则化项引入相关滤波目标优化式中,来对不同层次的局部滤波器分组施加正则化约束,以表达目标不同空间位置上局部外观特征与期望响应之间的关系。对于优化过程中的关键步骤,基于循环矩阵的性质将其转换到频域中以方便快速地求解。相比基于整体模型的相关滤波跟踪算法,所提出的基于局部空间结构的跟踪算法各项性能指标更好。(3)针对现有端到端立体匹配网络模型的视差上采样结构速度较慢,对边缘等精细结构不能有效预测的问题,提出了一种改进的端到端立体匹配网络模型。在所提出的网络模型中,主要研究了视差上采样细化阶段的局部自适应感知卷积结构和相关的损失函数。基于这种共享卷积结构,探索了不同上采样阶段图像强度像素与视差像素之间的语义联系,通过训练过程中卷积权重的梯度更新来自适应地感知预测视差图中的深度不连续边缘。实验表明,所提出的立体匹配网络中视差上采样结构相比直接级联强度特征和视差特征的上采样结构更为有效,且该立体匹配网络具有良好的预测精度和速度。(4)针对现有的立体匹配网络模型推理效率较低的实际问题,提出了一种有效结合低分辨率视差估计和超分辨率子网的深度立体匹配网络结构。该结构以降低卷积层的操作分辨率为原则,构建较低分辨率的匹配代价体,并执行低分辨率水平上的代价聚合和视差回归,从而快速获得初始视差图。然后使用所提出的超分辨率子网完成快速地视差图逐级上采样,并在上采样的同时进行高频信息补充与视差噪声细化。与最新的端到端立体匹配网络相比,所提出的新模型具有较高的预测精度和更快的预测推理速度。综上所述,本文对计算机视觉领域两个核心方向,视觉跟踪和立体匹配,开展了算法研究,为无人工程机械的远程环境视觉感知应用提供了算法理论方面的技术支撑。最后,为实际应用提供了系统方案设计思路和相关仿真实验。