论文部分内容阅读
图像语义分割任务是计算机视觉领域的研究热点之一,该任务的目标是对图像的每一个像素点进行分类。随着自动驾驶汽车、无人机等智能设备的发展,对图像信息的准确提取是研究者们首先要考虑的问题,图像语义分割作为解决这个问题的关键技术,吸引了越来越多的研究者们投身这个领域。本文旨在研究高性能的轻量级街景图像语义分割算法,首先分析了现有的图像语义分割算法,在其基础上进行改进,能够适用于现有街景数据集,然后在改进的基础上进行优化,最后在移动端实现快速街景分割算法。本文研究内容如下:1.研究了一种基于注意力对齐的轻量级街景图像语义分割算法。现有基础网络运算量过大,不满足轻量化的要求,本文使用轻量且高效的DF1作为基础网络,在满足精度要求的同时减少运算量。针对现有ASPP模块运算量过大且支路之间缺乏相关性的问题,本文提出了横向密集连接的ASPP模块,在减少计算量的同时提升整体分割精度。针对单次特征融合没有充分利用低级特征的问题,本文在保证速度的前提下融合两次低级特征来获取更好的分割效果。针对特征融合时高低级特征不对齐的问题,本文提出了基于注意力机制的特征对齐模块,进一步提升了分割精度。最后,在Cityscapes测试集(1024×2048)上的平均交并比mIoU达到了69.4%,在单卡GTX 1080Ti上测试速度达到103.3FPS。2.基于第一部分的结果,本文研究了一种基于级联ASPP的轻量级街景图像语义分割算法。针对现有算法的高低级特征之间缺乏关联,以及ASPP模块只对高级特征进行多尺度上下文信息聚合的问题,本文在解码阶段特征拼接后用ASPP代替普通的卷积,对低级特征也进行了多尺度聚合,最后引入注意力机制,在满足速度要求下进一步提升了精度。在Cityscapes测试集(1024×2048)上的mIoU进一步提升到了70.0%,在单卡GTX 1080Ti上测试速度达到89.1FPS。3.本文基于AM5749嵌入式平台实现了一种快速街景图像语义分割算法。针对现有数据集Cityscapes种类过多,本文对类别进行了重组,只留下驾驶过程中主要关注的物体。针对嵌入式平台计算资源有限的问题,设计了轻量级基础网络Net14。在算法实现时,使用caffe-jacinto框架对算法进行稀疏化训练,模型权重的稀疏率达到了79%,然后进行8bit量化,以符合嵌入式平台的计算方式,根据AM5749的多核架构,搭建了流水线处理来进一步加速运算。在简化后的Cityscapes验证集(512×1024)上达到75.8%的mIoU,在AM5749上的测试速度达到5.0FPS。