机器视觉系统是智能农业机械携带的主要环境感知装备之一,其主要功能是进行对可行驶区域、障碍物或作物的检测,进而实现智能农机自动导航和避障。在丘陵山区田间场景下,道路宽度不一,形态变化复杂、曲率大,路面起伏颠簸,路内路边杂草泥土等障碍物散布,这些特征给智能农机在田间道路上的自动导航和避障带来很大的困难。本文针对田间非结构化道路迂回多变、无车道线和显著边界的特点,提出基于空洞卷积神经网络和双目立体视觉结合的田间道路及障碍物识别方法,为丘陵山区智能农业机械的基于机器视觉的导航和避障提供实践依据。本文的主要内容和结论如下:(1)视觉系统平台搭建。以前期研制的自动行驶田间道路运输车为试验平台,安装锐尔威视公司量产的RER-1MP2CAM002平行双目立体视觉相机,使用高性能PC机作为图像处理系统,集成各类硬件和软件设备,搭建了本文的图像语义分割和障碍物检测平台。在分析丘陵山区田间道路图像特点的基础上,将田间道路场景对象分为“背景、道路、行人、植被、天空、建筑、牲畜、障碍、水塘、土壤、杆”11种类别并采集图像建立数据集,针对CNN训练中容易产生的过拟合情况,使用数据增强操作增加数据量。(2)空洞卷积神经网络构建。丘陵山区田间道路场景复杂,场景中目标种类较多,道路边缘大多覆盖有杂草和农作物的枝叶,道路上的阴影变化频繁。经典的全卷积神经网络(fully convolutional networks,FCN)是由传统的分类网络改编而来,其语义分割效果不能满足田间道路的像素级语义分割。提出使用空洞卷积神经网络(dilated convolutional neural networks,DCNN)进行丘陵山区田间场景的图像分割。以传统FCN中VGG-16网络为基础,去除分类网络中不利于像素预测的部分,修改局部卷积层后,提出预测精度更高的前端模块,并构建了2种基于空洞卷积的上下文聚合模块与前端模块相结合。(3)丘陵山区田间道路场景理解试验。在CAFFE深度学习框架搭建改进的网络和基于VGG-16的FCN-8s网络,对FCN-8s、front-end、front-end+basic和front-end+large四种网络进行对比试验,以测试构建的前端模块和上下文模块对提升预测精度的有效性。训练中采取了two-stage training方法,改善了深度学习网络训练时间长、收敛速度慢的问题。分割结果表明:改进的DCNN网络模型功能良好,其中front-end+large网络的像素准确率达到88.5%,平均IoU可以达到74.2%,分别比传统的FCN-8s网络高7.6%和8.9%;同时,front-end+large网络对田间道路阴影干扰的情况测试效果良好,说明构建的模型有较好的泛化性和鲁棒性,能完成丘陵山区田间道路图像像素级的预测。(4)基于双目立体视觉的障碍物检测。选择经典的张正友标定方法,在MATLAB的Camera Calibration工具箱内对RER-1MP双目摄像头实现标定。比照8组标定距离下的像素误差,计算并优化了摄像机的内外参数。采用Bouguet算法立体校正图像后,使用OpenCV中的半全局块匹配(semi global block matching,SGBM)算法进行双目立体匹配。使用基于视差图的障碍物检测方法排除行进道路以外的区域、道路上阴影和可通过的障碍物等干扰对象,提取了障碍物的三维信息。经过不同距离下的障碍物检测试验和不同障碍物的检测试验后,确定了最佳的障碍物检测距离。对障碍物距离、宽度和高度的实际测量表明,其平均相对误差分别为-2.68%、-0.98%和-1.34%。(5)提取可行区域中心线。提取语义分割结果中像素准确率最高的道路部分和非道路部分,应用形态学滤波和连通域处理,获得更加完整的道路区域和平滑的道路边界;根据障碍物检测的三维信息,判断当前道路可通过性;采用质心法获取道路可行区域的质心点,使用最小二乘法拟合导航线。在此基础上,测试丘陵山区田间不同道路形状和障碍物情况下的导航线的准确度,其相对误差在0.115~4.808%范围内,满足田间道路运输车自动行驶的导航线误差要求。本文构建的基于DCNN的田间道路场景识别模型能对田间道路进行准确的像素级识别,双目立体视觉系统对障碍物的检测可靠性较高,生成的导航路径较精确,为后续丘陵山区田间道路运输车的自动导航研究提供了基础支持。