论文部分内容阅读
视觉传感器能够自动、非接触、实时的获取物体的距离、形状、位置、姿态、运动等丰富的外界环境几何信息，并且能对它们进行识别与理解。对于诸多视觉检测任务，大视场和高分辨率等多任务的需求越来越广，传统的同构视觉系统在包含自身优势的同时，在诸多应用领域中又凸显弊端，无法满足多任务需求。近些年计算机计算能力的提升以及机器视觉算法的发展，使得多目立体视觉，甚至更复杂的多目混合立体视觉和多传感器融合等能够完成上述多任务目标的技术，成为研究热点。
由于多目混合立体视觉系统不同于传统的同构立体视觉系统，主要表现在视觉模型、相机姿态估计算法、尺度统一、立体匹配、定位算法和目标识别与跟踪算法等方面。因此，本文研究的主要方向是一种基于折反射全景视觉和鱼眼视觉的三目混合立体视觉系统(OFTHS，Omni-fisheye based trinocular hybrid stereo vision system)大视场三维检测任务中还需要研究的关键问题，主要包括三目混合立体视觉系统的单目成像模型归一化、三焦点张量计算、三视图基元基于三焦点张量约束的立体匹配、三目视觉立体标定及重构尺度归一化、全景视觉目标识别与跟踪等技术。
论文首先以一般相机畸变投影模型为归一化模型，对本文混合立体视觉系统中的折返射全景视觉模型和鱼眼视觉模型进行了研究，使用球面统一成像模型对单视点全景成像系统进行建模分析，并研究了基于球面统一成像模型的折返射全景视觉系统标定算法和基于归一化模型结合球面统一成像模型畸变参数和内参数的透视展开算法；使用归一化模型和鱼眼镜头的对称畸变模型组成的鱼眼相机一般模型，对鱼眼视觉系统进行建模、标定和畸变矫正。三目混合立体视觉系统经过标定、展开后，消除了畸变和内参的影响，得到归一化模型下有效共同视场的三视图透视图像基元，为后续研究奠定基础。
其次，针对本文第二章基于归一化模型标定展开得到的归一化三视图图像基元，改进了一种三焦点张量解法，提出了一种基于三焦点张量点转移性质的引导匹配算法。通过手动提取N对三维标定板中的三视图对应点对，选取任意6个匹配点对，并投影到特定约束的位置，实现了直接计算得到满足几何约束的三相机矩阵，进而得到满足三线性约束的三焦点张量初始解，然后使用N个匹配点对和三焦点张量点转移约束，通过非线性迭代优化得到三焦点张量的优化解，避免了原算法三焦点张量初始的解计算时，三相机矩阵二次计算过程中的大量矩阵求逆运算，提高了三焦点张量计算方法的抗噪声能力和鲁棒性；在三维计算过程中，通过三焦点张量的点转移性质，在解得的第三幅视图匹配点附近搜索最佳匹配点的方式进行三视图引导匹配，获得了最佳三视图匹配点对，有效解决了传统基于对极几何弱约束和余差匹配算法在对极线附近和三焦点平面附近失效的问题，并有效减少了误匹配和匹配不准问题，提高了抗噪声干扰能力。
然后，通过分析传统三目视觉分层重构方法，提出了一种基于三焦点张量的三视图基元直接欧式坐标计算方法，解决了传统三目立体视觉分层重构算法借助自然环境中的消失点、消失线等难以获得的先验信息导致的单应矩阵和内参矩阵无法计算或计算不准确，并且由于缺少地面真实距离，而无法计算重构空间与真实空间之间的尺度因子，只能实现度量重构的问题。该方法利用内参矩阵具有仿射不变性约束这一特点，通过第二章的归一化模型消除内参矩阵影响，以本质矩阵分解的方法获得满足度量重构的相机姿态信息，同时使用了标定块距离这一真实距离信息，获得重构空间与真实空间的统一尺度因子，实现了度量尺度归一化，获得了可以直接用于欧式三维计算的标定参数，实现了立体标定；使用线性三角形法计算最小代数误差下的空间点初始解，然后迭代优化几何误差，得到最优空间点坐标，最终实现三视图基元下的直接欧式三维计算。
最后，为实现本文混合立体视觉传感器目标检测任务，即目标的识别、跟踪与定位，针对折反射全景视觉系统图像的畸变特性，光照和分辨率分布不均匀等特点，研究了折反射全景视觉作为目标识别传感器的两大问题，目标识别和目标跟踪技术。首先改进了一种基于YOLOv3的全景视觉目标识别算法，使用了全景视觉图像库，对基于深度学习的YOLOv3目标识别与分类算法进行训练，然后通过识别得到的矩形参数，计算椭圆拟合参数和目标角度值，当目标与全景坐标系轴向夹角大于一定阈值时，通过旋转并二次识别的方式，实现了全景视觉下的YOLOv3目标识别与分类，解决了传统YOLO算法在全景图像识别中因圆周向和径向畸变特性导致的目标区域表达不准确的难题；以识别算法获得的目标椭圆区域作为目标跟踪算法的输入，结合识别算法，在模型更新策略等方面，对改进的基于在线选择的全景目标跟踪算法的模型更新策略进行了改进，当判断需要目标模型更新时，使用本文改进的目标识别算法重新计算目标区域并更新目标模型，有效解决了长时间目标跟踪过程中，原目标跟踪算法因使用错误的模型进行更新而容易导致跟踪漂移的问题，增加了系统的鲁棒性。在局部三视图上进行匹配计算，减少了计算时间。结合本文提出的混合立体视觉系统视觉模型归一化方法、改进的三焦点张量解法、基于三焦点张量点转移性质的三视图引导匹配方法、直接欧式三维计算方法、目标识别和跟踪算法，研究并开发了混合立体视觉检测系统。通过实验验证了引入目标识别-跟踪算法框架和局部三视图匹配后系统的可信性，定位精度和计算时间等。最终实现三目混合立体视觉系统下的检测任务。
由于多目混合立体视觉系统不同于传统的同构立体视觉系统，主要表现在视觉模型、相机姿态估计算法、尺度统一、立体匹配、定位算法和目标识别与跟踪算法等方面。因此，本文研究的主要方向是一种基于折反射全景视觉和鱼眼视觉的三目混合立体视觉系统(OFTHS，Omni-fisheye based trinocular hybrid stereo vision system)大视场三维检测任务中还需要研究的关键问题，主要包括三目混合立体视觉系统的单目成像模型归一化、三焦点张量计算、三视图基元基于三焦点张量约束的立体匹配、三目视觉立体标定及重构尺度归一化、全景视觉目标识别与跟踪等技术。
论文首先以一般相机畸变投影模型为归一化模型，对本文混合立体视觉系统中的折返射全景视觉模型和鱼眼视觉模型进行了研究，使用球面统一成像模型对单视点全景成像系统进行建模分析，并研究了基于球面统一成像模型的折返射全景视觉系统标定算法和基于归一化模型结合球面统一成像模型畸变参数和内参数的透视展开算法；使用归一化模型和鱼眼镜头的对称畸变模型组成的鱼眼相机一般模型，对鱼眼视觉系统进行建模、标定和畸变矫正。三目混合立体视觉系统经过标定、展开后，消除了畸变和内参的影响，得到归一化模型下有效共同视场的三视图透视图像基元，为后续研究奠定基础。
其次，针对本文第二章基于归一化模型标定展开得到的归一化三视图图像基元，改进了一种三焦点张量解法，提出了一种基于三焦点张量点转移性质的引导匹配算法。通过手动提取N对三维标定板中的三视图对应点对，选取任意6个匹配点对，并投影到特定约束的位置，实现了直接计算得到满足几何约束的三相机矩阵，进而得到满足三线性约束的三焦点张量初始解，然后使用N个匹配点对和三焦点张量点转移约束，通过非线性迭代优化得到三焦点张量的优化解，避免了原算法三焦点张量初始的解计算时，三相机矩阵二次计算过程中的大量矩阵求逆运算，提高了三焦点张量计算方法的抗噪声能力和鲁棒性；在三维计算过程中，通过三焦点张量的点转移性质，在解得的第三幅视图匹配点附近搜索最佳匹配点的方式进行三视图引导匹配，获得了最佳三视图匹配点对，有效解决了传统基于对极几何弱约束和余差匹配算法在对极线附近和三焦点平面附近失效的问题，并有效减少了误匹配和匹配不准问题，提高了抗噪声干扰能力。
然后，通过分析传统三目视觉分层重构方法，提出了一种基于三焦点张量的三视图基元直接欧式坐标计算方法，解决了传统三目立体视觉分层重构算法借助自然环境中的消失点、消失线等难以获得的先验信息导致的单应矩阵和内参矩阵无法计算或计算不准确，并且由于缺少地面真实距离，而无法计算重构空间与真实空间之间的尺度因子，只能实现度量重构的问题。该方法利用内参矩阵具有仿射不变性约束这一特点，通过第二章的归一化模型消除内参矩阵影响，以本质矩阵分解的方法获得满足度量重构的相机姿态信息，同时使用了标定块距离这一真实距离信息，获得重构空间与真实空间的统一尺度因子，实现了度量尺度归一化，获得了可以直接用于欧式三维计算的标定参数，实现了立体标定；使用线性三角形法计算最小代数误差下的空间点初始解，然后迭代优化几何误差，得到最优空间点坐标，最终实现三视图基元下的直接欧式三维计算。
最后，为实现本文混合立体视觉传感器目标检测任务，即目标的识别、跟踪与定位，针对折反射全景视觉系统图像的畸变特性，光照和分辨率分布不均匀等特点，研究了折反射全景视觉作为目标识别传感器的两大问题，目标识别和目标跟踪技术。首先改进了一种基于YOLOv3的全景视觉目标识别算法，使用了全景视觉图像库，对基于深度学习的YOLOv3目标识别与分类算法进行训练，然后通过识别得到的矩形参数，计算椭圆拟合参数和目标角度值，当目标与全景坐标系轴向夹角大于一定阈值时，通过旋转并二次识别的方式，实现了全景视觉下的YOLOv3目标识别与分类，解决了传统YOLO算法在全景图像识别中因圆周向和径向畸变特性导致的目标区域表达不准确的难题；以识别算法获得的目标椭圆区域作为目标跟踪算法的输入，结合识别算法，在模型更新策略等方面，对改进的基于在线选择的全景目标跟踪算法的模型更新策略进行了改进，当判断需要目标模型更新时，使用本文改进的目标识别算法重新计算目标区域并更新目标模型，有效解决了长时间目标跟踪过程中，原目标跟踪算法因使用错误的模型进行更新而容易导致跟踪漂移的问题，增加了系统的鲁棒性。在局部三视图上进行匹配计算，减少了计算时间。结合本文提出的混合立体视觉系统视觉模型归一化方法、改进的三焦点张量解法、基于三焦点张量点转移性质的三视图引导匹配方法、直接欧式三维计算方法、目标识别和跟踪算法，研究并开发了混合立体视觉检测系统。通过实验验证了引入目标识别-跟踪算法框架和局部三视图匹配后系统的可信性，定位精度和计算时间等。最终实现三目混合立体视觉系统下的检测任务。