道路场景视觉语义分割关键技术研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:xxn1954
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割是计算机视觉领域的基础任务,能够解析场景的内容。本论文对道路场景视觉语义分割的关键技术进行研究,包括两部分内容:利用场景的深度信息提升语义分割精度以及对语义分割模型的加速。现有的道路场景语义分割方法主要使用场景的表观颜色信息进行逐像素分类,容易出现由类内不一致性与类间相似性导致的误分类情况,使得精度受到影响。本文提出使用场景的深度信息来缓解误分类的发生,并分别把深度作为先验信息或监督信息引入语义分割框架中。深度作为先验信息时,使用卷积神经网络提取RGB图像与深度图像的特征,通过四种方式进行特征融合,基于融合后的特征完成语义分割;深度作为监督信息时,与样本真值一同作为学习目标,使得网络模型同时完成语义分割与深度回归两个任务,提取更加鲁棒的特征。实验表明使用深度信息的道路场景语义分割模型能够取得更高的精度。语义分割的重要局限是对算力的需求很高,因此很多模型难以在计算资源受限的实际环境中应用。为了降低模型的复杂度并减少计算资源消耗,本论文通过轻量模型设计、知识蒸馏和模型量化三种方法对语义分割模型加速。轻量模型能够提取多尺度的、全局的特征,并包含空间注意力模块和简洁的解码器,在模型复杂度与精度之间取得平衡,能够完成实时的语义分割。知识蒸馏将复杂模型所学知识迁移到轻量语义分割模型中,本文提出能够对像素间全局关系建模的损失函数用于知识蒸馏,可以使模型获得更高的精度。模型量化将数值格式由浮点型转换为整型,使得模型的存储空间大幅下降,推理速度得到提升,并且只损失少量精度。实验结果证明了三种方法的作用。
其他文献
命名实体识别(Named Entity Recognition,NER)技术是对文本中的命名实体进行探测和分类的技术,是信息抽取(Information Extraction)技术中十分重要的组成部分。相对于传统的NER方法如条件随机场、支持向量机等模型,基于深度学习框架的NER方法逐渐成为了NER领域的主流。基于深度学习的NER方法利用文本序列中文字的词或字嵌入特征(word/char embe
文学作品的翻译一直是翻译中的重要组成部分。随着中外文化交流的不断深入,文学作品的翻译量与日俱增。小说由一组组事件构成,一个小句表达的是一个事件。本文从体识解的角度出发,先阐述体和体识解的定义及类型,再以短篇英文小说The Siege at Whale Cay的汉译为例,针对译文中事件语义截取的不同阶段进行实例分类和剖析,归纳出英汉翻译中事件体的截取特征,具体分类为:零度再截取和事件体再截取。其中事
模态指代事物发生的方式或是事物被体验的方式[1],多模态是两个或者两个以上模态各种形式的组合,当一个数据集或者研究中包含多个模态的时候,该研究即称为多模学习。在单模态研究的时代,学者们借助不同任务所提供的单模态信息进行模型构建,如推荐领域过去的研究使用用户对物品的打分构建推荐模型进行推荐,但随着多模态学习的兴起,推荐领域物品图片信息和用户评论信息的加入使得推荐效果取得的重大突破。多模态学习逐渐成为
近年来,嵌合抗原受体T细胞(Chimeric Antigen Receptor-T cell,CAR-T细胞)在B细胞白血病治疗方面已经取得了巨大的成就,但在B细胞淋巴瘤和实体瘤的治疗方面仍存在一定的局限性。优化CAR的结构从而提高CAR-T细胞的持续性和细胞毒性是CAR-T免疫治疗的新焦点。共刺激信号域是CAR-T细胞的重要组成部分,整合了CD28共刺激分子的CAR-T细胞能够快速增殖,但持续性
随着移动互联网的高速发展、移动电子设备的硬件性能不断提升、网络基础设施日趋完善,从传统的2G、3G时代逐渐过渡到4G、5G时代,这些都给视频会议系统的移动化、智能化提供了更好的硬件基础。同时随着商业全球化的大发展,对移动端视频会议的多样化需求也在不断提高。移动端视频会议相对于传统视频会议在硬件设备、网络状况以及环境更为复杂,所以对移动端视频会议研究与实现逐渐成为热点。目前尽管商业视频会议厂商众多,
数据仓库在数据综合、归类并进行分析上具有很好的处理能力。因此,用数据仓库集成元器件生命周期中的质量数据可以为元器件选型提供支持。但是建立元器件全生命周期质量数据仓库存在以下问题:一、对数据的统一表示困难。由于元器件的生命周期中存在很多部门,分散的数据组成要素不全,缺乏统一的数据表示模型,多源数据之间无法进行数据传递和交换。二、对实例数据的转化困难。由于各个部门的数据具有语义异构、海量的特点,所以转
移动设备的使用极为广泛,有多样化的设备且覆盖到生活与生产中的各个场景。在移动设备上通常运行着数?到数百个应用程序,这些应用程序简称App。许多App的使用依托用户端与服务器的通信完成功能。移动互联网的不断发展使得应用的网络通信持续增长,用户网络环境的复杂性和设备的多样性,以及App本身的工程复杂性,都会导致App在生产环境发生故障。随着App用户使用量的增大,故障发生也会非常频繁。软件开发者获取A
当前中国教育行业处于行业上升期。政策、资本、技术和重视教育的传统作为关键因素持续驱动教育市场稳定发展,并推动教育产业迈向新高度。随着计算机技术的高速发展,人工智能、大数据、AI等革命性新技术持续颠覆传统教育模式,引领教育走向智能化、数字化、立体化、扁平化,为打造未来个性化定制、家校、师三方联动,全方位沉浸式的教育新模式提供了可能。各教育集团为适应新的发展趋势,出于节约成本和创新的需求,对在线教育的
移动互联网飞速发展给人们生活带来的巨大改变不仅仅局限于电子商务等信息产业领域,随着云计算服务的成熟普及,使得建立在移动云服务上的面向传统领域的移动应用成为了可能。尽管各类基于位置服务(LBS)的电子地图应用在车速提醒上都有着各自的尝试,但大都属于基于传统技术的简单应用,也很少完全建立在各类交通限速规定和标准之上。在大数据技术不断发展的今天,云计算服务和大数据技术提供了将之应用于车速提醒的基础,这种
骨关节炎是一种常见的退行性骨关节疾病,主要是由于关节软骨退变引起的,常见于中老年人,好发于承重关节。作为人体最主要的承重关节之一,膝关节是骨关节炎发病率最高的关节。在膝骨关节炎的发生与发展过程中,生物力学因素的影响愈发重要,长期关节负载不平衡和下肢力线畸形都是导致膝骨关节炎发生与发展的主要因素。作为非手术治疗的一种手段,膝关节矫形支具通过矫正下肢力线,减轻膝关节不平衡负荷,减轻关节面摩擦,已成为缓