基于图像和深度信息融合的室内场景语义分割系统

来源 :山东大学 | 被引量 : 0次 | 上传用户:ZZC9919
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割任务作为机器理解世界的基础视觉任务之一,受到了越来越多的关注。为了让机器准确的分辨出各种物体的轮廓,目前存在很多基于RGB(Red Green Blue)图像进行语义分割的工作,但RGB信息作为物体的固有属性受光线影响较大,在暗光或者相近颜色情况下很难分辨,这对语义分割任务产生了极大的挑战。近年来,随着相机阵列、TOF(Time of Flight)以及结构光等深度探测技术的发展,越来越多工作使用深度信息(Depth information)来弥补RGB信息的不足,即以RGB-D数据作为输入,来完成语义分割等任务。本文通过分析各种融合图像和深度信息的相关工作,发现现存工作存在设计复杂度较高、计算量和参数量较大等问题。针对现存方法的缺陷,本文对融合方式进行了探索,提出了两种简单有效的融合策略:1)设计了一种预融合彩色图像和深度图像的GWConv(Geometry-weighted Convolution)模块,将RGB和Depth非对称地融合在一起输入网络,相较于其它对称融合的方式,该方法可以有效地提升网络在光线条件差的情况下的表现,并且未引入过多计算量,保证了运行速度;2)设计了一种有效提取深度信息中形状特征的ShapeConv(Shape-aware Convolution)模块,将输入特征拆分成位置分量(均值)和形状分量(差值),使卷积操作自适应处理两种分量,对最终语义分割结果有较大提升。
其他文献
随着十四五规划的展开,稳定的电力供应成为保障经济社会正常运转的关键一环。销钉是输电线路中用于固定螺母的器件,销钉的脱落会导致输电线路的不稳定,极易引起跳闸事故。近几年,基于深度神经网络的目标检测技术获得了飞速发展,尤其在电力运维中与无人机巡检进行结合,提高了巡检人员的巡检效率和人身安全性。因此一种基于深度神经网络的销钉缺陷检测方法对巡检人员完成销钉缺陷的巡检工作,对维护输电安全具有重要的研究意义和
学位
Apollonius图又名加权Voronoi图,是传统Voronoi图的一种扩展衍生结构。不同于传统的Voronoi图采用欧式距离来度量距离长度,Apollonius图采用欧式距离减去每个种子点本身的权值这样一个加权距离作为距离度量。Voronoi图及其众多的衍生结构(例如Power图,加权Voronoi图,质心Voronoi图和质心Power图等)在运动规划,材料科学,分子生物学,晶体学和计算机
学位
基因序列的系列变换,包含了复制、旋转、翻转等基本操作,这些操作导致了基因序列上基因排列顺序的变换。基因复制问题也是生物信息学中的经典问题之一,即探索不同基因序列之间的复制变换过程并计算其最少复制次数。最少复制次数就意味着通过最少的基因复制操作过程就可以完成两个相关基因序列之间的转化,这对于推断生物物种的演进和进化过程,生物的遗传性和变异以及获得相似物种间的亲源关系具有十分重要的现实科学意义。基因序
学位
随着服装电商平台的快速发展,各式各样的衣服令人眼花缭乱,这给用户选择搭配和谐且美观的衣服带来了烦恼。因此,自动化服装兼容性建模,即对一套由若干互补单品构成的套装进行兼容程度评估,逐渐吸引了学术界和工业界的广泛关注。然而,现有工作主要是围绕一般化的服装兼容性建模展开研究,即只考虑单品之间的兼容关系,而忽略了用户的影响因素。其实,对于同一件时尚单品(item),不同的人可能会为其搭配不同的互补单品。因
学位
近年来,人工智能(Artificial Intelligence,简称AI)已经渗透到许多学科领域且得到广泛应用。虽然人工智能在建筑领域中的应用还处于初级阶段,但却让我们看到它在建筑设计和工程建造上的巨大潜力。人工智能的发展必将给建筑行业带来深刻的变革,也将重塑建筑学科。本文的工作聚焦于人工智能辅助建筑设计(AI Aided Architectural Design,简称AIAAD),这是一个全新
学位
学术期刊发表的最新研究成果能极大的促进各个学科的发展,但是目前的学术成果发表方式存在一些问题。首先,作者和审稿人都为论文的发表付出了巨大的努力,但是在成果发表之后,获得最大收益的是出版社;其次,论文评审过程的不透明性可能会到导致学术不端行为,无法保证论文得到了公平的评审,并且缺乏对作者和审稿人工作的监督与激励;最后,目前论文发表之后不能免费共享,一般来说只有会员才能阅读到最新的论文,有时甚至作者也
学位
近年来,随着输电通道外部环境不断发生变化,通道内输电线路遭外力破坏事件频发。外力破坏问题成为电网企业保障电力供给面临的严峻考验。为保障设备、电网安全,电网公司花费了大量财力物力通过人工巡检和视频监控的方式对输电通道进行维护与检修。由于人工操作的局限性,在巡检和监控过程中,存在灵活性低,漏检率多等问题,无法及时有效地解决输电通道内的外破隐患问题。随着基于深度学习的特征提取技术飞速发展,基于深度学习的
学位
根据《国家电网有限公司2014-2018年安全生产事故(事件)分析报告》,引起输电线路跳闸的主要原因之一是挖掘机、塔吊等施工机械对线路的外力破坏,因此进行输电线路施工机械目标检测对维护电网稳定运行,维持人类正常生产生活有着重要意义。本文主要针对输电通道下施工机械类别不平衡问题和小目标检测精度低的问题进行相关研究。在目前的图像数据增强技术与目标检测技术上,本文提出了基于改进Faster R-CNN的
学位
关于财产犯罪中的占有能否成为财产犯罪的保护法益问题,学界素来有本权说与占有说之争。绝对的本权说不当地限缩了财产犯罪的处罚范围,而绝对的占有说则扩大了其保护范围,二者都有颇多不合理之处。随着经济社会的发展,对占有进行单独保护有十足的必要性。一方面,这是保护本权的一种方式;另一方面,排除掉具有合法权源的情形符合刑法谦抑性的原则,在相关案例中也不难看出司法实践对该观点的倾向性。厘清占有的概念是研究财产犯
学位
火力发电是一种重要的发电形式,在2020年总发电量中,火力发电量占比约68.5%。在火力发电的各种能源中,煤炭仍是首要能源。因此,燃煤作为发电厂最大的成本支出项,其存储管理具有重要意义,准确的掌握燃煤存储量,可以帮助相关工作人员合理进行燃煤存储,同时也可为燃煤掺配提供条件。盘煤即测量燃煤存储量,人工盘煤、激光、无人机等都是常用的盘煤方式,然而它们的弊端也较为突出,人工盘煤费时费力,激光盘煤费用高昂
学位