论文部分内容阅读
摘要：自动驾驶汽车是一种典型的高科技综合应用，包括场景感知、优化计算、多层次辅助驾驶等，运用了计算机视觉、传感器、信息融合、信息通信、高性能计算、人工智能和自动控制等技术。在这些技术中，计算机视觉作为数据处理的直接切入点，是自动驾驶仪的一个重要组成部分。该技术基于许多新的、先进的综合应用，其关键模块可以概括为环境感知、行为决策、路径规划和运动控制。同时，车辆的周围环境数据和内部数据是支持辅助驾驶仪的基础数据。本文设计的辅助驾驶仪系统，能够有效地采集和快速处理基础数据，并基于计算机视觉技术实现自动控制驾驶。因此，本文的研究具有重要意义。
关键词：计算机视觉;辅助自动驾驶仪系统;设计;实施
1、国外发展分析
（1）MobileEye成立于1999年，坚信利用计算机视觉安全技术能使道路更安全，减少交通拥堵，拯救生命。MobileEye使用计算机视觉硬件作为主要传感器，其驱动系统由摄像头、扬声器、主芯片、显示器和接线盒组成。主要功能有：碰撞报警、行人检测与防撞报警、车道偏离报警、车道维护与危险报警。该系统将摄像头、扬声器和芯片集成到车辆挡风玻璃内部，几乎可以在任何车辆上使用。MobileEye介绍了从Adas到自动驾驶仪的三项关键技术：感知、高分辨率地图和驾驶策略。感知是所有场景的基础，MaMyPobe使用计算机视觉作为感知的主要手段。但是感知系统的有效性是有限的，一旦系统失效，就必须考虑是否有替代方案，这就是高分辨率地图的目的。驾驶策略可根据司机的参与程度，现场分为参与、可选参与和不参与三部分。从最初的警告，到接管的许可，再到最终的完全控制，系统的渗透性越来越强[1]。这些系统的芯片由MobileEye开发的Eyeq系列芯片控制。
（2）巡航推出RP-1，该系统价值1万美元。驾驶室内部安装执行元件、处理单元，在控制屏上安装按键开关。该系统目前可用于奥迪的2012版和更新的A4或S4车型，成本约为车辆价格的29%。初期测试驾驶员无方向干预的时间为30秒到10分钟。该系统仅用于高速公路，不能在雨天、雾天和夜间工作，不具备障碍物检测功能。Cruise采用计算机视觉方案，大大降低了系统的成本，体现了计算机视觉在Adas领域的潜在应用前景。
（3）谷歌的Waymo系统采用了计算机视觉和激光雷达相结合的技术，这一技术已被研究用于将激光雷达的成本降低90%。考虑交通规则的限制和预测相关情景，该系统通过道路测试发现各种问题，采用两种感知方案，使信息的收集更加准确。此外，Waymo还设置了系统备份和备份设备，如果出现故障，系统将备份电脑、方向盘、刹车等设备。该系统还建立了事故后应急体系，将事故发生地点发送给应急人员和执法人员，大大减少了事故后损失。WAYMO的安全系统使用了一种模拟学习方法，使系统能够显著提高感知和决策物体的能力。
2、国内发展
（1）百度的阿波罗项目主要采用激光雷达、毫米波雷达、摄像头一体化方案收集外界信息。阿波罗2.0的感知方案由障碍物检测和红绿灯检测两部分组成。障碍物检测模块输入激光雷达点云数据和毫米波雷达数据，输出基于两个传感器的障碍物融合结果，包括障碍物的位置、形状、类型、速度和方向等，使自主车辆能够在简单的城市道路上自行行驶。
（2）地平线拥有领先的人工智能算法和芯片设计，通过软硬件结合，设计开发高性能、低成本、低功耗的边缘人工智能芯片和解决方案。目前，地平线公司基于人工智能专用计算架构，成功生产出中国首个以智能駕驶为核心的“旅程”系统，并实现了大规模商业应用。在环境感知方面，horizon采用矩阵360°视觉感知方案，基于矩阵自动驾驶仪计算平台，配备4192个Fov鱼眼摄像头和8594个Fov窄角摄像头，通过合理布局摄像头位置，实现对物体周围360°无死角视觉感知检测，能够准确定位前方道路上的车辆、行人、车道线、交通标志、红绿灯等目标。
（3）4D地图汽车驾驶新产品主要包括：汽车驾驶地图、高精度定位、高精度融合定位、汽车代客泊车、汽车驾驶视觉感知、智能感知等。在环境感知方面，采用了基于自主研发的视觉感知算法的单目摄像头。该摄像头成本低，易于部署，并基于人工智能技术建立了对车辆周围动态环境的感知分析模型，从而辅助自驾车辆的决策。大多数感知系统都采用计算机视觉与雷达相结合的感知方案，因此，计算机视觉是一种不可或缺的感知方法。
3、主要技术
3.1图像处理
首先对图像进行归一化处理以匹配模型中的图像，并对图像进行高斯模糊处理以降低图像中的噪声。其次在提取颜色阶段，需要转换颜色空间，然后设置颜色的HSV阈值。然后掩模运算得到二值图像，发现轮廓并计算面积，根据轮廓面积和矩形的长宽比过滤其他轮廓，以提高运算效率[2]。最后对图像进行切割。
3.2云台
通常检测汽车和红绿灯的摄像头是70度的窄角摄像头，所以只有两辆车在拐角处非常接近才能看到前面的汽车。云台摄像头增加视角范围，可以让摄像头在汽车转弯时跟踪汽车，通过识别车牌来定位汽车，更快更准确地切割汽车图像。
3.3树莓派的GPIO控制。
本系统采用两块树莓派进行处理，并且通过GPIO的电平变化进行通信来完成相应的功能。由于本系统实时进行检测，对采集到的路况信息应立即做出相应的决策，该功能对软件性能的要求较高，因此采用两个树莓派进行数据处理。
4、方案设计
4.1辅助自动驾驶仪系统框架设计
该系统分为五个模块：视频采集模块、图像处理模块、模型训练模块、数据预测模块和网络通信模块。视频采集模块利用摄像机实时采集道路、车辆、红绿灯等信息，图像处理模块对图像进行过滤和切割，模型训练模块分批读取训练数据并使用神经网络建立模型，数据预测模块用于检测车辆和行人，网络通信模块用于检测器和驾驶控制系统间的通信[3]。
4.2数据流程图
本系统采用两个摄像头采集数据，一个摄像头负责采集道路信息，另一个摄像头负责采集红绿灯信息和车辆信息，对采集到的数据进行训练得到训练模型，然后对路况信息进行预测，使汽车做出相应的决定。本系统采用两块树莓派进行处理，并与GPIO电平转换完成通信及相应的功能，利用云台控制摄像机的转向，使汽车在转弯时也能检测到前方的路况。
4.3试验结果
本系统对道路图像进行压缩、滤波和二值化后输入车道识别模型，对采集到的道路图像进行处理。车辆识别是基于车牌的检测和基于车牌的车辆裁剪，由于裁剪后的照片在不同距离和不同车辆上的大小和形状是不同的，因此必须对裁剪后的照片进行压缩和处理。
5结论
经过多次实验，本文开发的基于计算机视觉的自动驾驶系统取得了较好的效果，但仍有很大的改进空间。首先，为了避免系统卡顿，减少内存消耗，需要对神经网络进行进一步优化，调整神经网络的层数，在保证识别精度的前提下，尽可能减少神经网络结构的层数。在中午时段，道路和汽车反射对机器视觉的干扰非常严重，需要通过调整相机角度等方式实现更好的解决方案。
参考文献：
[1]白辰甲.基于计算机视觉和深度学习的自动驾驶方法研究[D].哈尔滨工业大学，2017.
[2]黄凯.基于嵌入式的汽车全景环视系统的设计与实现[D].重庆大学，2017.
[3]周宝通.车载3D全景辅助驾驶系统关键技术研究及应用[D].北方工业大学，2017.
关键词：计算机视觉;辅助自动驾驶仪系统;设计;实施
1、国外发展分析
（1）MobileEye成立于1999年，坚信利用计算机视觉安全技术能使道路更安全，减少交通拥堵，拯救生命。MobileEye使用计算机视觉硬件作为主要传感器，其驱动系统由摄像头、扬声器、主芯片、显示器和接线盒组成。主要功能有：碰撞报警、行人检测与防撞报警、车道偏离报警、车道维护与危险报警。该系统将摄像头、扬声器和芯片集成到车辆挡风玻璃内部，几乎可以在任何车辆上使用。MobileEye介绍了从Adas到自动驾驶仪的三项关键技术：感知、高分辨率地图和驾驶策略。感知是所有场景的基础，MaMyPobe使用计算机视觉作为感知的主要手段。但是感知系统的有效性是有限的，一旦系统失效，就必须考虑是否有替代方案，这就是高分辨率地图的目的。驾驶策略可根据司机的参与程度，现场分为参与、可选参与和不参与三部分。从最初的警告，到接管的许可，再到最终的完全控制，系统的渗透性越来越强[1]。这些系统的芯片由MobileEye开发的Eyeq系列芯片控制。
（2）巡航推出RP-1，该系统价值1万美元。驾驶室内部安装执行元件、处理单元，在控制屏上安装按键开关。该系统目前可用于奥迪的2012版和更新的A4或S4车型，成本约为车辆价格的29%。初期测试驾驶员无方向干预的时间为30秒到10分钟。该系统仅用于高速公路，不能在雨天、雾天和夜间工作，不具备障碍物检测功能。Cruise采用计算机视觉方案，大大降低了系统的成本，体现了计算机视觉在Adas领域的潜在应用前景。
（3）谷歌的Waymo系统采用了计算机视觉和激光雷达相结合的技术，这一技术已被研究用于将激光雷达的成本降低90%。考虑交通规则的限制和预测相关情景，该系统通过道路测试发现各种问题，采用两种感知方案，使信息的收集更加准确。此外，Waymo还设置了系统备份和备份设备，如果出现故障，系统将备份电脑、方向盘、刹车等设备。该系统还建立了事故后应急体系，将事故发生地点发送给应急人员和执法人员，大大减少了事故后损失。WAYMO的安全系统使用了一种模拟学习方法，使系统能够显著提高感知和决策物体的能力。
2、国内发展
（1）百度的阿波罗项目主要采用激光雷达、毫米波雷达、摄像头一体化方案收集外界信息。阿波罗2.0的感知方案由障碍物检测和红绿灯检测两部分组成。障碍物检测模块输入激光雷达点云数据和毫米波雷达数据，输出基于两个传感器的障碍物融合结果，包括障碍物的位置、形状、类型、速度和方向等，使自主车辆能够在简单的城市道路上自行行驶。
（2）地平线拥有领先的人工智能算法和芯片设计，通过软硬件结合，设计开发高性能、低成本、低功耗的边缘人工智能芯片和解决方案。目前，地平线公司基于人工智能专用计算架构，成功生产出中国首个以智能駕驶为核心的“旅程”系统，并实现了大规模商业应用。在环境感知方面，horizon采用矩阵360°视觉感知方案，基于矩阵自动驾驶仪计算平台，配备4192个Fov鱼眼摄像头和8594个Fov窄角摄像头，通过合理布局摄像头位置，实现对物体周围360°无死角视觉感知检测，能够准确定位前方道路上的车辆、行人、车道线、交通标志、红绿灯等目标。
（3）4D地图汽车驾驶新产品主要包括：汽车驾驶地图、高精度定位、高精度融合定位、汽车代客泊车、汽车驾驶视觉感知、智能感知等。在环境感知方面，采用了基于自主研发的视觉感知算法的单目摄像头。该摄像头成本低，易于部署，并基于人工智能技术建立了对车辆周围动态环境的感知分析模型，从而辅助自驾车辆的决策。大多数感知系统都采用计算机视觉与雷达相结合的感知方案，因此，计算机视觉是一种不可或缺的感知方法。
3、主要技术
3.1图像处理
首先对图像进行归一化处理以匹配模型中的图像，并对图像进行高斯模糊处理以降低图像中的噪声。其次在提取颜色阶段，需要转换颜色空间，然后设置颜色的HSV阈值。然后掩模运算得到二值图像，发现轮廓并计算面积，根据轮廓面积和矩形的长宽比过滤其他轮廓，以提高运算效率[2]。最后对图像进行切割。
3.2云台
通常检测汽车和红绿灯的摄像头是70度的窄角摄像头，所以只有两辆车在拐角处非常接近才能看到前面的汽车。云台摄像头增加视角范围，可以让摄像头在汽车转弯时跟踪汽车，通过识别车牌来定位汽车，更快更准确地切割汽车图像。
3.3树莓派的GPIO控制。
本系统采用两块树莓派进行处理，并且通过GPIO的电平变化进行通信来完成相应的功能。由于本系统实时进行检测，对采集到的路况信息应立即做出相应的决策，该功能对软件性能的要求较高，因此采用两个树莓派进行数据处理。
4、方案设计
4.1辅助自动驾驶仪系统框架设计
该系统分为五个模块：视频采集模块、图像处理模块、模型训练模块、数据预测模块和网络通信模块。视频采集模块利用摄像机实时采集道路、车辆、红绿灯等信息，图像处理模块对图像进行过滤和切割，模型训练模块分批读取训练数据并使用神经网络建立模型，数据预测模块用于检测车辆和行人，网络通信模块用于检测器和驾驶控制系统间的通信[3]。
4.2数据流程图
本系统采用两个摄像头采集数据，一个摄像头负责采集道路信息，另一个摄像头负责采集红绿灯信息和车辆信息，对采集到的数据进行训练得到训练模型，然后对路况信息进行预测，使汽车做出相应的决定。本系统采用两块树莓派进行处理，并与GPIO电平转换完成通信及相应的功能，利用云台控制摄像机的转向，使汽车在转弯时也能检测到前方的路况。
4.3试验结果
本系统对道路图像进行压缩、滤波和二值化后输入车道识别模型，对采集到的道路图像进行处理。车辆识别是基于车牌的检测和基于车牌的车辆裁剪，由于裁剪后的照片在不同距离和不同车辆上的大小和形状是不同的，因此必须对裁剪后的照片进行压缩和处理。
5结论
经过多次实验，本文开发的基于计算机视觉的自动驾驶系统取得了较好的效果，但仍有很大的改进空间。首先，为了避免系统卡顿，减少内存消耗，需要对神经网络进行进一步优化，调整神经网络的层数，在保证识别精度的前提下，尽可能减少神经网络结构的层数。在中午时段，道路和汽车反射对机器视觉的干扰非常严重，需要通过调整相机角度等方式实现更好的解决方案。
参考文献：
[1]白辰甲.基于计算机视觉和深度学习的自动驾驶方法研究[D].哈尔滨工业大学，2017.
[2]黄凯.基于嵌入式的汽车全景环视系统的设计与实现[D].重庆大学，2017.
[3]周宝通.车载3D全景辅助驾驶系统关键技术研究及应用[D].北方工业大学，2017.