基于双向注意力机制的点云语义实例联合分割

来源 :山东大学 | 被引量 : 0次 | 上传用户:goblinzehong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,VR/AR,自动驾驶和智能机器人领域的飞速发展,离不开三维场景的识别和理解任务。对于上述领域来说,识别和理解三维场景任务就像视觉系统一样,指导着机器与三维现实世界进行交互,如果视觉系统能很好的识别与理解场景,那么对后续的交互算法将带来极大的帮助。经典的场景识别和理解任务有语义分割,目标检测,实例分割等,这几个任务是对场景的不同层次的理解。语义分割是识别场景中每个点所属的语义类别,目标检测的核心任务是识别物体在场景中的准确位置,本文的主要任务点云的实例分割是识别场景中每个的点的语义类别和实例归属,也就是从最细粒度来识别和理解场景,得到了场景中每个物体的语义类别和位置信息,这样机器在视觉系统对现实世界的感知能力就能进一步接近人类。点云的实例分割和语义分割虽然是对场景的两个层次的理解,但是这两个任务存在着密切的关联,如一个最简单的观察,属于同一个实例的点那它们一定属于同一个语义,属于不同语义的点那它们一定属于不同实例。如果能合理利用两个任务直接的关联,那么将会起到相互促进的效果,基于这一类的观察许多论文提出的分割方式就是同时处理这两个任务,并利用了多任务学习的优势来达到一个更好的分割效果。但是,大多数他们只考虑了简单的策略,例如将语义特征矩阵和实例特征矩阵逐元素拼接或者将语义特征矩阵和实例特征矩阵直接相加,这样做可能不会导致两个任务相互促进,反而引入一些新的特征冲突的风险;或者引入一些传统的聚类方法使网络在该处不可导,破环了整个反向传播的完整性。针对上述存在的问题,本文提出了一个双向注意力模块来实现两个任务相互促进,这个模块使用特征相似性矩阵,从一个任务的特征矩阵中提取全局信息(即某一点的特征与该场景中其余点的特征的相似性),并将这个信息传递到另一个任务,来指导另一个任务的分割,这样做既可以避免两个任务的特征直接融合,又可以避免潜在的功能排斥和任务冲突,同时在不破坏整个网络的反向传播过程的情况下,还能在反向传播的过程中继续实现两个任务的信息传递,达到更好的分割效果。为了证明分割效果,我们在三个主流点云数据集上进行了分割实验,都达到了目前最优效果,本文还进行了效率实验,证明了与现有的信息传递和聚合模块ASIS相比本文的方法在时间复杂度和空间复杂度上的优越性。此外还进行了消融实验与机制分析,可以更深层次的理解和分析双向注意力模块的机制和内在优势。
其他文献
<正>高等教育的主要功能是人才培养,科教结合、合作办学是培养高素质人才的关键。目前,针对安阳工学院航空维修专业实施的“3+1”应用型人才培养模式,提出“1+2+1”航空维修专业科教一体化人才培养模式。此模式可在一定程度上深化科教融合,提高学生创新、科研能力,加快促进科研成果转化为教学成果,提高航空维修类专业学生创新、实践能力,持续提升学校航空维修类专业人才培养质量。
期刊
近几年在国内出现了各种植物拟人、花卉拟人、热点拟人、饰品拟人等题材的尝试,拟人化设计的手法已经成为了当下设计师的新宠。将事物进行拟人化的处理符合当下年轻人的审美需求。动漫设计、品牌形象设计、手办设计、IP形象设计等都在应用拟人化设计的手法来创作动漫中的角色、品牌的形象、手办的形象、文化的形象。拟人化设计的思维已经融入到各个行业之中。本文首先总结了拟人化设计的概念,分析了这种手法在当下在各个行业中的
学位
“甲蹉”是摩梭人流传最广、最具代表性的传统舞蹈形式。“甲蹉”舞蹈内容丰富,涵盖了摩梭人生活的方方面面,是记录摩梭人历史的“活化石”。本论文以舞蹈生态学的研究视角,提炼“甲蹉”舞蹈“优质基因”,突出其舞蹈文化的根性特征,将“甲蹉”舞蹈风格特点归纳为“摇摆之洒脱、搓踩之质朴、挺拔之自信”三个方面;运用形态分析法,由外及里,使教学组合内容兼顾传统和创新,起到沟通民间与舞台的作用;以“文化比较”的视角,纵
学位
随着网络购物的普及,面对琳琅满目的商品,消费者愈发感到难以取舍,网络测评作为新兴产业应运而生。测评主体以视频、文章等方式对若干商品作出评价,为消费者提供消费建议,以回应网络消费时代的现实需求。网络测评关系消费者、测评主体与被测评主体等主体的切身利益,目前对其规制虽有司法诉讼、行政监管、行业自律等几种路径,但仍存在完善空间。应当拓展规制路径,健全投诉监督机制与公益诉讼机制,加强消费者权益保护;明确相
期刊
布朗族——大自然孕育的民族,是云南省世居民族之一。在其所处的地域环境、人文风貌及社会生活的影响下,布朗族人民创造了风格独特的布朗族民间舞蹈。它将肢体语汇作为载体来展现布朗族舞蹈的魅力,传递其民族情感与精神,体现其民族文化心理。本文以布朗族民间舞蹈作为研究方向,从萃取民间舞蹈中的代表性元素、运用重构创新表现形式及音乐编舞法促进舞蹈与音乐的内在关联,以此实现对布朗族民间舞蹈“宰蹦”“蜂桶鼓舞”“蜡条舞
学位
<正>一、引言洞庭湖生态经济区涵盖共33个县(市、区),总体规划面积约为6.05万km~2,市级地区囊括湖南省的岳阳、益阳、常德3市,以及湖北省荆州市,其中湖南省内面积4.68万km~2,共25个县市区。作为长江中下游的重要生态屏障,洞庭湖生态经济区肩负着维护长江流域防洪安全、保护水生态安全以及维持国家粮食安全的艰巨任务。近年来,湘、鄂两省认真贯彻落实习近平总书记“共抓大保护、
期刊
“玩”是人类甚至于动物从出生就拥有的一种天性,也是人类发展的必然产物。对于人类而言,游戏是一种很有效的学习方式。因此,通过游戏的方式并融入带有学习性、思考性的社会问题,对于人们来说接受度能得到大幅度的提高。对于本来就对游戏有兴趣的大量青少年以及青年群体,也能通过游戏的方式提升他们对社会问题的思考,提高他们对社会关注的积极性。目前,热带雨林和热带森林文化具有独特又丰富的内涵,它以不可思议的神奇、美丽
学位
随着网络时代的到来,越来越多的小程序、软件层出不穷,但是在系统开发过程中,却极易出现问题,比如软件闪退、手机黑屏、功能失效等问题,这些都需要开发人员在开发中注意、在后续不断查找问题解决问题,也需要测试人员全面测试提交问题点,还需要对用户出现的问题及时反馈,只有这样才能给用户带来愉快的使用体验。Log作为记录软件使用过程中的工作日志,能够方便开发者根据日志内容查找问题原因,帮助开发者解决问题,所以本
学位
构建高效的开发管理体系,已成为众多企业的迫切需求。SR公司作为我国少有的拥有完全自主产权变速器产品的生产企业,研发投入不断增加,但由于开发管理体系缺少系统性,开发整体效率较低、成本较高、周期过长,影响到公司的市场竞争优势。因此,公司迫切需要对开发管理体系进行优化。本文基于集成产品开发(IPD)体系,针对SR公司开发管理中存在的问题,对其进行优化改进。首先,针对SR公司开发管理现状,从开发战略、开发
学位
博物馆作为一种面向大众、服务社会、适应时代的需求并且具备一定社会教育使命的建筑,国内外的学者对其研究一直维持着相对较高的热度。而情感化设计一词是由美国著名的认知心理学家唐纳德·A·诺曼提出的,诺曼教授从认知心理学角度将其分为三个不同的设计层面,分别是本能层、行为层、反思层。本能水平的设计关注的是外形,行为水平的设计关注的是操作,反思水平的设计关注的是形象和印象。根据博物馆展陈空间的特点与情感化设计
学位