近年来,随着技术的发展及政策的开放,无人驾驶成为目前发展最为迅猛的人工智能产业之一。基于视觉的环境感知是无人驾驶系统的基础环节,鱼眼图像因具有视角大,信息丰富的特点,在视觉感知中被广泛使用。本文在深度学习的基础上,分别设计并实现了基于鱼眼图像的语义分割(像素级别)算法和实例分割(实例级别)算法,主要工作内容如下:1、构建了无人驾驶鱼眼图像分割数据集,数据采集自北京、上海等地的停车场及城市道路,拍摄了约180个小时的鱼眼摄像头视频(帧速:30FPS,分辨率:1280*720),从中抽取12000张鱼眼图像并使用标注工具LabelMe进行手动标注,生成语义分割标注图像和实例分割标注图像各6000张。2、针对无人驾驶像素级别的场景解析需求,提出了基于深度卷积网层间级联的鱼眼图像语义分割算法。设计了一个具有两段不同深度卷积层分支的语义分割网络,通过对像素正确分类置信度与预设阈值进行比较,将高于或低于阈值的像素分别输入浅层或深层的网络分支,实现层间级联的学习模式,此外对深层的网络分支利用了密集特征聚合的方式,最终输出语义分割结果。实验结果表明,相比主流的语义分割方法FCN(Fully Convolutional Network),平均准确率提高了 10.4%,达到76.5%,测试速度提高了 2.1倍,达到20.2FPS。3、针对图像语义分割无法区分同类物体不同实例的问题,提出了基于改进SSD(Single Shot MultiBox Detector)的鱼眼图像实例分割算法。设计了一个由目标检测、检测后处理、掩码分割三个模块组成的实例分割网络。在目标检测模块对SSD进行了改进:一是设计了轻量级的基础网络;二是在多尺度预测网络中增加循环滚动卷积来获取更多的上下文信息。在检测后处理模块利用多个ROI Align层对检测结果进行修正。在掩码分割模块,动态生成每个实例的分割标签,利用浅层的下采样-上采样网络实现最终的实例分割。实验证明,相比主流的实例分割算法Mask R-CNN,平均精度提高了 4.3%,达到41.2%,测试速度提高了 1.9倍,达到9.8 FPS。