城市道路场景视觉感知算法对于无人驾驶避障至关紧要,然而由于城市道路场景复杂、困难样本极多,现有算法普遍存在分割定位精度低、运行速度慢的问题。为设计出兼具高实时性和精度的视觉感知算法,本文进行了如下研究:首先,搭建了兼具的高实时性和高精度城市道路场景实时视觉感知神经网络架构。优选了Efficient Net-d3作为特征提取模块;引入注意力机制,改进了特征加权融合PA-FPN,并选为特征融合模块;最后简化了多任务输出子网络,并引入了基于射线距离预测的实例分割模式。然后,分析并改善了城市道路场景目标定位质量低问题。先总结归纳了导致定位质量低的两大不匹配问题:包围框回归损失函数与评价指标不匹配和定位预测质量与分类置信度不匹配。针对前者,分析并优选了匹配评价指标的DIo U损失函数,并设计了实例分割子网络射线距离回归损失函数。针对后者,在权衡精度和速度性能的基础上,通过融合多任务输出层特征图改进了定位质量预测子网络,并且加入Io U项改进了中心度计算式。接着,挖掘了视觉感知算法中城市道路场景困难样本,并提出改进策略。先分析了城市道路场景困难样本,归纳为少样本目标错误分类、密集目标漏检和小目标漏检三类检测困难问题,同时结合最具城市道路场景代表性的Cityscapes数据集进行了统计分析。针对这三类问题,本文分别采用了Focal Loss参数优化、改进NMS算法、重采样数据增广方法和多尺度训练的改进策略。最后,在Cityscapes数据集上实验验证本文各改进点的有效性,并与前沿算法Mask R-CNN等对比精度和实时性。城市道路场景实时视觉感知神经网络结构改进有效性实验表明,本文的实例分割网络实时性可达21.4FPS,比Mask RCNN高14.8FPS。城市道路场景目标定位质量改进有效性实验表明,改进后算法实例分割精度提升了8.3%,达到了27.4%。城市道路场景困难样本挖掘改进有效性实验表明改进策略均有效,融合使用可提高实例分割精度5.1%,改善困难样本检测分割效果显著。城市道路场景实例分割算法性能对比实验表明,本文算法实时性可达21.4FPS,实例分割精度可达32.5%,均达到国际前沿算法水平。本文构建了兼具高实时性和精度的城市道路场景视觉感知神经网络,有助于推动无人驾驶视觉感知算法工业化。