面向自动驾驶场景的高效实时语义分割方法研究

来源 :南京邮电大学 | 被引量 : 3次 | 上传用户:dark_zj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像语义分割(Image Semantic Segmentation)是计算机视觉领域中一项基础且极具挑战性的任务,其目标旨在估计图像中每个像素的类别标签,在驾驶辅助、室内室外场景解析和三维场景建模等视觉应用中发挥着日益重要的作用。最近,深度卷积神经网络(Deep Convolutional Neural Networks,DCNNs)已经成为解决图像语义分割的主流方法,通过使用大量标注数据(Ground Truth,GT)训练网络得到最佳拟合模型。现有方法通过堆叠大量的卷积层等方法构建复杂网络,尽管取得了显著的性能提升,但是面临严重的内存消耗和延迟等问题,使得其不适用于实时应用场景,如自动驾驶、增强现实、物联网等。因此,本文基于深度卷积神经网络,就兼具精度与速度的高效自动驾驶场景语义分割方法进行了深入研究,具体研究内容如下:第一,从轻量级模型设计的角度出发,本文提出了一种用于实时语义分割的轻量级编解码分割方法。该方法通过构建非对称的编码器-解码器网络以解决实时语义分割任务。编码器提出了一种新颖的基于分解卷积的残差编码模块,解码器设计了一个注意力金字塔模块,以提取密集的特征。实验结果表明,与目前最先进的深度卷积网络模型相比,该方法使用的参数量少,达到了71 FPS的前向推理速度以及70.6%的分割精度。该方法实现了分割精度和效率之间的平衡,成为解决图像语义分割任务的一种高效方法。第二,通过对图像语义分割这一稠密的结构性预测任务特性的分析,本文提出了一种面向实时语义分割的高效对称分割模型。该方法通过构建对称的编码器-解码器网络以解决实时图像语义分割任务。整个网络结构,通过对称的堆叠所提出的分解卷积单元和并行分解卷积单元以实现更快的模型前向推理速度,通过使用所提出的混合-带孔卷积模块扩大了感受野以提取深层次的语义特征,从而提高了网络的特征表达能力。实验结果表明,本文提出的整体网络架构在单个GTX 1080Ti GPU中能够以超过60 FPS的速度运行,达到平均交并比为70.7%的分割精度,且模型大小仅为1.6 M,成为在资源受限条件下实现高效图像语义分割的一种可行方法。第三,从上下文信息建模与利用人类视觉系统启发的注意力机制出发,本文提出了一种利用注意力机制引导的高效实时语义分割方法。该方法利用基于分解卷积改进的金字塔注意力模块提取密集的上下文信息。同时,该方法利用浅层特征图位置信息丰富的特点,基于空间注意力机制显式建模空间像素之间的语义关系来引导高层特征图进行上采样以恢复空间信息。大量的对比和消融实验结果表明,该方法能够以较快的前向推理速度运行且同时具有较高的分割精度。本文在两个城市场景基准数据集上对该方法进行了验证。在基准数据集Cityscapes上,该方法能够实现超过50帧每秒的前向推理速度,同时达到了71.3%的分割精度。在基准数据集Cam Vid上,该方法能够以超过90帧每秒的速度进行前向推理,同时达到了69.4%的分割精度。实验结果表明,本文提出的网络结构能够进行高效的图像语义分割,也可将其应用到更加复杂的场景理解任务中。综上,本文从轻量级模型设计、带孔卷积模块的利用、上下文信息建模、注意力机制的利用等角度出发,对基于深度卷积神经网络的高效图像语义分割方法进行了深入研究,并提出了面向自动驾驶场景的高效实时语义分割方法。实验结果表明,本文所提出的方法取得了具有竞争力的分割精度,同时能够有效地提高分割效率,具备了在真实场景中应用的能力。
其他文献
作为银行业系统的重要部分,村镇银行自2007年试点以来,内控不完善的问题一直存在,例如公司法人治理不到位、内控体系建立不完善、高管风险合规意识不强等。而造成此种结果的
安东尼娅·苏珊·拜厄特是英国当代文学史上一位杰出的女作家,以其魔幻与现实主义并置的叙事艺术而闻名。《孩子们的书》以爱德华黄金时代的英格兰为背景,追溯三个家庭在动荡时代的成长变迁,精心描绘了童话与爱德华时代相互交织的图景,其间既呈现历史的宽宏,又不乏想象的魅力。本论文旨在探讨《孩子们的书》中拜厄特改写童话的文学意图。第一章梳理了童话的多重功能及童话改写的传统与当代特征,指出拜厄特的童话改写是与传统的
【正】 去年早春二月,我因工作在美国住了九个多月,参观了不少博物馆和图书馆。曾经访问了哈佛大学和普林斯顿大学的图书馆,以及附属于各博物馆内的一些带有专业性的图书馆等
旅游电子商务是电子商务在旅游业中的具体应用,其发展一直与电子商务保持着同步性。我国旅游电子商务十几年的发展经历为我们提供了理论探索的空间,积累了丰富的实践经验,同
日前,由北京化工大学教授、江苏先诺董事长武德珍领衔的创新团队,已研制和建成国内外首条年产30吨规模高强高模聚酰亚胺纤维的生产线。这预示着此类纤维的制备向产业化进一步迈
孔子曰:"五十而知天命",到这个年龄,人生最黄金的时期已经过去,一般人会开始筹划晚年生活,准备颐养天年。按理说,位居基层党政机关要职,马上就要退休的人,此刻应该可以松一口
出口退税账户托管贷款是银行广泛开展的贷款业务,在实践中发挥了巨大的积极作用,但是由于出口退税账户托管贷款的性质一直在理论界存在争议,制约了该制度优越性的发挥。相关
随着社会对塑料模具需求量的不断增加,塑料模具设计人员也在不断地创新设计理念与设计方法,以求能够提高塑料模具的质量,充分满足社会需求。在塑料模具设计过程中,一定要按照
《墨子》引《诗》与“汉代四家诗”各本相应篇章对校,有40%左右的语句差别、10%以上的字词差别,另外还有名称、章次、句次差别等,这说明在《墨子》成书与流传的战国时期,《诗
4月18日上午,40多名来自全国各地的外宣干部到中国外文局听讲座,由黄友义副局长主讲《对外宣传品的翻译问题》。这批干部是由中央外宣办与北京大学国政系联合举办的“第六期