基于深度学习的多模态图像语义分割研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:shawn200904
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割是计算机视觉的重要任务,旨在为图像中每一个像素赋予类别标签。该任务广泛应用于城市规划、室内机器人导航等现实场景。近年来,基于深度学习的语义分割方法只需输入RGB图像即可获得了巨大突破。然而,这些单模态方法仅从单一图像视角分析对象,具有一定的局限性。多模态方法,通过整合不同来源的图像从不同视角分析对象,很好地提升了模型的准确性和鲁棒性。因此,研究多模态图像语义分割在现实场景(例如,高空场景、室内场景)的应用具有重要意义。在高空场景的语义分割任务中,本文引入非可见光图像来弥补RGB图像受光照等因素影响的缺陷。现有基于多光谱图像的语义分割方法存在以下问题:(1)没有探索多光谱特征中相同类别像素的共性;(2)多光谱图像中存在冗余信息。针对问题(1),本文显式地建立类别和光谱之间的联系,即对相同类别像素提取共同特征。针对问题(2),利用通道注意力机制减少多光谱特征的冗余信息。在室内场景的语义分割任务中,本文输入稀疏深度图来弥补RGB图像缺失的三维信息。现有基于RGB-D图像的语义分割方法没有考虑实际应用场景中传感器的限制,存在以下问题:(1)深度数据分布具有不规律性和稀疏性,导致卷积操作提取的深度特征语义模糊;(2)稀疏深度图缺失了大量的几何细节,无法为模型提供有效的深度信息。针对问题(1),本文基于注意力机制,在特征提取的过程中重点关注有深度值的像素,从而增强深度特征的语义表达。针对问题(2),本文引入深度补全任务,为语义分割模型提供稠密的几何信息。本文分别在高空场景和室内场景的数据集上进行验证。实验结果说明本文提出的方法有效融合了多模态图像,提升了模型的特征表达能力,从而增强了语义分割的准确性和鲁棒性。
其他文献
排土场是用于存放露天采矿过程中产生的废石和渣土的场地,其稳定性既关系到矿山的安全生产,又关系到人民生命财产安全和环境保护。岩土体特性、降雨、排土工艺等都对排土场边坡的稳定性有很大的影响,尤其在岭南沿海地区,雨量充沛,降雨强度大,雨水入渗会导致边坡体积含水率增大,土体重力增大,容易诱发排土场变形、滑坡,影响排土场边坡的稳定性。因此,开展岭南强降雨条件下分层排土场边坡失稳及防控技术研究,对提高排土场边
氨是最重要的化工原料之一,在工农业生产和国防工业中占据着重要的地位,目前,工业合成氨主要依赖于传统的Haber-Bosch工艺(反应条件:300~500℃,200~300 atm)。据统计,世界上每年的氨产量超过1亿吨,其年均能耗约占世界总能耗的近2%,同时会排放大量的温室气体CO2。相比之下,电催化氮还原(NRR)因可在温和条件下实现氮气和水直接反应合成氨,被认为是一种潜在的合成氨替代工艺。目前
聚合物衍生SiOC陶瓷(PDC-SiOC)由于其优异的力学性能、蠕变性和抗热震性,近年来受到了越来越多的关注,但是其在高温下会发生碳热还原反应,导致SiOC陶瓷的结构和成分发生变化,使其变得疏松多孔而影响性能。因此,本论文为提升SiOC陶瓷的热稳定性,引入异质元素(Al、Zr)形成Si(M)OC(M=Al,Zr)陶瓷,详细探究了Si(M)OC(M=Al,Zr)陶瓷在惰性及空气气氛下的微观结构演变规
金属钾具有与锂相似的物理化学性质,而且资源丰富,开发具有低成本、高性能的钾离子电池来替代锂离子电池成为了可能。二硫化铁作为一种重要的转换类负极材料,具有理论容量高(894 m Ah g-1)、廉价和环境友好的优势,是一种很有前景的钾离子电池负极材料。然而作为钾离子电池负极时,存在较大的体积膨胀和导电性差的问题。因此,需要对其进行合理的结构设计,从而获得高性能的钾离子电池负极材料。本论文结合了碳材料
研究背景:近年来,随着癌症患者抗肿瘤化疗药物的日益广泛使用,化疗药物诱导的神经病理性疼痛(chemotherapy-induced neuropathic pain,CINP)的并发症也日益增多。CINP严重损害患者的生存质量,已成为癌症幸存者的常见难题。而目前对于CINP尚无有效的防治手段。金属硫蛋白-2(metallothionein-2,MT2)已在多种神经性疾病中表现出神经保护作用,而MT
集轻薄、自发光、柔软性好和能耗小等优点于一身的有机发光二极管(Organic light-emitting diodes,OLEDs)自面世以来在平面显示和固态光源等领域有非常大的应用潜力。随着OLED领域的飞速发展,材料不断更新迭代,制备技术不断改造升级,OLED的商业化道路越走越宽。目前,含有贵重金属的磷光配合物材料和具有小的单三线态交换能的热活化延迟荧光材料已经被广泛应用于有机发光二极管中。
近年来,机械除草逐渐成为推动农业可持续发展的一项关键技术,其优势在于无环境污染。而由于水田环境的复杂性等原因,机械除草存在着伤苗率高的问题。乘坐式水田除草机是一种机械除草设备,其在水田中除草作业时,伤苗的主要原因是除草机尾部挂载的除草部件与苗列线错位。针对机械除草的伤苗问题,本文为除草部件设计了一种基于深度学习和自抗扰控制技术的自主纠偏系统。该系统由图像采集系统和液压位置伺服系统构成。其中,图像采
保障架空线路安全运行是电网运维工作的重要组成部分,外力破坏是造成线路停运的重要原因之一,由于架空线路分布广泛,依靠人力巡检难度极大,因此采取架空输电线路在线监测系统来预防外力破坏十分必要。但是,目前基于机器视觉的架空线路在线监测系统的识别准确率、告警精确率、预警及时性仍不满足工程化应用要求,为此,本文主要从架空线路外力破坏图像样本库构建和样本扩充方法、基于深度学习的识别算法研究以及前后端综合识别的
社区档案数字化已成为现代社区日常管理档案的主要方式之一。本文通过对湖州市吴兴区社区档案数字化建设现状的调研,发现社区档案数字化建设方面存在许多问题和不足,由此为吴兴区社区档案数字化建设提供针对性对策,旨在提高吴兴区社区的档案建设水平。
随着社会经济的不断发展,人们对橡胶制品的功能应用需求不断提高,因此对橡胶进行加工改性拓展其新功能化应用,以满足更多新兴领域的需求具有现实意义。其中,环氧化天然橡胶(ENR)因具有优异的抗湿滑性、粘结性、气密性和耐油性等特点而被广泛应用于军事、汽车、生物医疗等领域。本文将虾蟹等甲壳动物中提取的纳米甲壳素(CNCs)和羧甲基壳聚糖(CMCS)与ENR复合并对其结构与性能进行研究,同时对其新功能化应用进