基于轻量级神经网络的实时高性能语义分割方法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:zhangyiyuxia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割属于场景理解的范畴之一,是计算机视觉领域一个基础但是又具有挑战性的任务。近年来,随着深度学习技术的不断发展,深度卷积神经网络在语义分割方面表现出了优异的性能。然而,现有的许多基于深度卷积神经网络的语义分割方法由于使用了复杂的网络结构,它们的计算复杂度和时间消耗普遍偏高。这极大地限制了它们在真实场景(需要快速的处理速度)中的应用。因此,研究基于深度学习的实时高性能语义分割方法,是一项既具有重要现实意义又富有挑战性的工作。本文的主要工作具体如下:(1)本文提出了一种基于双路的实时高性能语义分割方法,其在分割精度和预测速度之间取得了很好的平衡。具体来说,我们首先使用带有孔洞卷积和注意力的轻量级骨架网络作为我们的基础特征提取网络,来有效地获取精细的特征图。然后,我们提出了一种更具鉴别性的孔洞空间金字塔池化结构,来捕获语义分割场景中的多尺度目标。它利用不同大小的池化操作来提取丰富和独特的语义信息。同时,我们还设计了一个由少量卷积层构成的空间细节保持网络,用于生成高分辨率的特征图,以保存详细的空间信息。最后,利用一个简单而实用的特征融合网络将来自语义分支的深层特征和来自空间分支的浅层特征有效地融合在一起。在仅使用一张英伟达TITAN X显卡的条件下,该方法于Cityscapes和CamVid数据集上得到的测试精度分别为73.6%和68.0%平均交并比,并且预测速度分别达到了每秒51.0帧和39.3帧。(2)本文提出了一种基于混合多路的实时高性能语义分割方法,其在保持实时性的同时极大地提高了分割精度。具体来说,我们首先选用轻量级残差神经网络ResNet-18作为我们的基础特征提取网络,来高效地获取不同下采样阶段对应的不同尺寸特征图。然后,我们将基础特征提取网络中不同阶段的特征图输出到不同的分支路径中进行处理构成多路网络,每一路分支对应一个尺度。该多路结构在提高网络特征提取能力的同时解决了多尺度问题。而且,网络中最上方的分支使用到的是比较精细的浅层特征图,所以该结构也保存了详细的空间信息。同时,为了进一步提高网络的表现能力,我们在每个分支路径上使用不同的残差模块,并且在最小输出特征图上使用全局池化获取全局上下文信息。最后,我们利用特征变换模块来过渡和融合多路特征,得到最终预测结果。在仅使用一张英伟达TITAN X显卡的条件下,该方法于Cityscapes数据集上得到的测试精度为74.8%平均交并比,对应的预测速度为每秒51.4帧。
其他文献
随着人工智能物联网时代的到来,越来越多的智能设备需要操作系统的支持。微内核架构操作系统具有内核精简、系统服务弱耦合的特性,这使其易于裁剪或扩展以适配各种各样的设备,但通过一套系统整合云边端各种异构设备又对应用的部署和迁移提出了巨大挑战。容器可以为各种应用提供一个可靠的轻量级虚拟运行环境,这为这些挑战提供了一条应对之策,但微内核架构操作系统上缺乏容器运行所必需的资源隔离机制,难以确保各容器公平地共享
随着我国住房租赁需求不断增长,我国住房租赁市场迎来了新的时代,长租公寓作为一种新型的、专业化的住房租赁形式顺应时代而生。国内长租公寓市场刚刚起步,存在市场体系不健全、供租比例不平衡、各类长租公寓良莠不齐等问题,制约着长租公寓行业的发展,加之长租公寓风险与收益并存的特质和相关法律的滞后,长租公寓在迅速发展的过程中面临着诸多问题和法律风险。因此,本文以当下异军突起的长租公寓为背景,首先对长租公寓的概念
Aldol反应被认为是构建C-C键最有效的反应类型之一,广泛应用在各种重要有机中间体以及复杂天然产物的合成当中。本论文的工作主要围绕Aldol缩合反应,将其应用在[3.n.1]手性桥环骨架与联萘酚骨架的合成当中。第一章绪论部分围绕Aldol缩合反应的起源以及不对称Aldol反应的诱导方式进行阐述,对常见的有机催化以及金属催化的羟醛缩合反应研究进展进行相应的介绍第二章主要介绍不对称二环[3.n.1]
随着点云数据在三维场景中的应用日益广泛,有越来越多的研究致力于处理不同场景下的点云数据。点云的超体素分割是一种对点云数据的过分割方法,大多情况下用于点云的其他处理方法之前,作为其他图形学方法的预处理方法,为后续方法提供具有几何规律的和有意义的过分割结果,可以使后续步骤节约时间和空间成本。本文提出了一个基于点云特征线提取的超体素分割方法,能够使超体素分割得与特征线相吻合,并且在非特征区域保持规则的分
RISC-V是一款新型的通用指令集体系结构。作为一款模块化的指令集,RISC-V具有开源、可扩展性强等特点。RISC-V拥有完整的软件栈,自下而上分别是目标机器的软件实现层、内核层、函数库层、工具链层以及应用层。作为RISC-V软件栈的重要组成之一,内核层在控制硬件资源和支持用户程序方面起着重要作用。RISC-V代理内核是一款轻量级的应用程序执行环境,可以承载静态链接的RISC-V ELF二进制文
热电材料可实现热能到电能的转换,在能源行业有巨大的应用前景。钙钛矿Cs3Bi2I9具有较大的原子序数,可引起振动非谐性;自身具有较低的热导率,层状结构有利于降低热传导;同时作为半导体材料可调整电学性能,理论上具备一定的热电性能。论文采用电控梯度凝固法和反温度-蒸发结晶法进行Cs3Bi2I9晶体生长,同时对Cs3Bi2I9晶体进行热电性质研究。首先,采用固相研磨法制备Cs3Bi2I9原料多晶粉末,通
具有晶体结构的软岩在流变变形破坏过程中,伴随有大量的微细观位错演变和位错滑移现象,且随着位错滑移加快,流变变形破坏加速,导致如深基坑坍塌、地下工程塌方、建筑工程失稳倒塌等大规模岩土工程失稳破坏事故,更容易诱发如山体滑坡、崩塌等重大岩土地质灾害。因此,不仅要研究软岩宏观流变破坏力学机制,更要加强研究微细观位错滑移变形机理,才能揭示软岩流变破坏现象的微细观层次的本质根源。论文基于位错滑移理论,在国内外
电气设备行业在国民经济特别是工业领域中占有重要地位,目前该行业增速有所放缓但总体运行平稳。在智能制造背景下,电气设备行业与新兴科技融合发展,“智能化”生产与应用在该行业得到充分体现,一方面提高了行业附加值,扩张了行业发展空间;另一方面也体现为更高水平的行业竞争和更为激烈的市场竞争。LS公司是电力输配电系统综合解决方案的提供商,注重技术研发与创新,产品品类齐全,在电气设备行业中有一定的竞争优势。但L
中国传统法律思想的研究对象应当如何定位,或是中国传统法究竟涵盖了哪些内容的问题一直存在于中国法律思想史的研究中。由于西方法学理论中的“法”和中国传统文化中的“法”具有本质的区别,不应当将中国传统文化中的“法”字指代的单调含义默认为中国传统法的全部,应当从广义的法的层面审视中国传统法律思想。以此观之,春秋战国时期的诸子百家学说几乎都含有法思想。荀子虽然是战国时期儒家的代表人物,但是其法思想明确存在并
生物大分子是承载一切生命活动的功能性分子,生物大分子包括:核酸、蛋白质等,在遗传信息传递和细胞生化功能等方面发挥着重要作用。而除了了解其基础的结构和功能外,生物大分子的修饰研究也逐渐引起业界的关注。本文主要是对一种特殊的由异戊烯基为骨架的脂质修饰展开了研究。一方面,我们对香叶基化(两个异戊烯基)的t RNA的分子标记进行了探索。通过类似物策略合成了一系列香叶基焦磷酸衍生物,构建表达“写入”酶Sel