论文部分内容阅读
智能飞行人机共驾是指将机舱中副驾驶位替换为机器人协助驾驶员操作,本文以处理智能飞行人机共驾中的与视觉相关的问题为目标,包括使用深度相机来进行单张RGBD图像的重建以及采集多张图像进行机舱全局的三维重建,还包括通过深度学习的方法使用相机来检测机舱中驾驶员的位置。本文的主要工作可归纳如下:(1)单张RGBD图像的三维重建。使用深度相机同时采集一张RGB彩色图像以及一张表示图像中的点到相机距离的深度图像,为消除RGB相机和深度相机之间的视野差,还将深度图像坐标系转换到RGB图像坐标系,获得这样一组对齐的RGBD图像后利用相机内参来重建为点云。获取点云后进行包括离群点移除和降采样的后处理操作,再将处理后的点云用于局部视野下的目标检测以及平面法向量提取。(2)全局三维重建。全局三维重建先使用深度相机对整个机舱进行扫描,获得上千张连续的RGBD图像。为了能获得更好的重建效果,先对RGB图像滤波并优化了深度图像中深度值噪声较大的区域,将处理后的图像借助视觉SLAM的方法,通过视觉里程计、后端优化和回环检测来获得高精度点云,其中后端优化采取的是位姿图优化的方法。为进一步过滤掉点云中的噪声,还将点云信息转化为KD树的形式,再使用最近邻搜索寻找机舱所在的聚类,最终获得完整无噪声的点云。(3)驾驶员检测。为保障驾驶员进入机器人工作区域后的安全,在驾驶员后方固定相机对驾驶员的位置进行实时检测,检测的方法是利用基于深度学习的FCN网络对驾驶员进行语义分割,即对图像中的每一点都进行分类以获得更精确的位置信息。利用大型公开数据集和自己标注的数据集训练完成后语义分割精度分别为93.53%和99.20%,因此采用了后者训练出的网络模型,平均每张图像的处理时间为0.16s。通过上述的工作解决了智能飞行人机共驾中遇到的与视觉有关的问题,使驾驶员和机器人之间的协作更加智能与安全。