基于全卷积网络的图像实时语义分割方法研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:fenghui111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的成熟,语义分割方法也迎来了飞速发展的机会。语义分割作为一种像素级的预测任务,为了获得较高的性能,需要耗费大量的计算资源进行训练学习。然而随着自动驾驶和移动机器人需求的日益增长,在分割精度和分割速率之间进行平衡显得尤为重要。鉴于此,本文以自动驾驶领域作为应用场景对语义分割展开研究,兼顾分割精度和分割速率,实现快速准确的语义分割。本文主要研究内容如下:(1)针对不同尺寸特征图之间像素偏移问题,提出基于光流场的图像实时语义分割方法。该方法受光流场启发,借鉴Flow Net设计了一种特征流模块,用于捕获不同尺寸特征图之间像素偏移关系,并基于捕获的像素偏移关系,实现不同尺寸特征图之间的像素对齐及特征融合操作,提高特征信息的传播有效性。该方法基于Cityscapes与Cam Vid进行实验,在Cityscapes数据集上的分割精度和分割速率分别达到了70.6%m Io U与85FPS,在Cam Vid数据集上的分割精度和分割速率分别达到了72.6%m Io U与125FPS,证明了该方法在实现分割精度和分割速率平衡性上的有效性。(2)针对特征图缺少通道和空间依赖关系的问题,提出基于注意力机制的图像实时语义分割方法。该方法在(1)的基础上增加一个注意力机制模块,用来对特征提取模块输出的特征图进行通道和空间依赖关系捕获,增强特征图的特征语义表示,从而提高模型的分割精度。该方法基于Cityscapes与Cam Vid进行实验,在Cityscapes数据集上的分割精度和分割速率分别达到了72.7%m Io U与80.6FPS,在Cam Vid数据集上的分割精度和分割速率分别达到了74.4%m Io U与115FPS,证明了该方法在实现分割精度和分割速率平衡性上的有效性。(3)本文设计并实现了一个无人车感知系统中的图像实时语义分割系统。该系统对(1)与(2)中提出的图像实时语义分割方法进行了应用落地,支持不同语义分割模型之间的实时切换,且可以对自动驾驶相关数据集进行实时分割,并在浏览器界面进行可视化展示。该系统经过相关机构测试,其实时性、功能性以及稳定性均已达到所属科研项目的指标要求,且已通过所属科研项目机构的结题验收。
其他文献
随着容器技术和Kubernetes的兴起,全球众多的云厂商纷纷推出属于自己的容器云服务。容器技术的浪潮从Docker的普及开始,直到Kubernetes的逐渐成熟才真正的落地,才开始真正实现从传统的应用部署管理模式向容器服务模式转变。2020双11期间,阿里已经将80%的核心业务部署到容器云平台当中,Google更是已经在生产环境当中积累了数十年的容器服务经验,而Kubernetes正是其开源的容
近年来,网络安全问题不断增加,这导致了网络的控制和管理面临越发严峻的形势。为了应对网络不安全因素的威胁,网络管理人员亟需一种有效的手段来加强对网络的安全控制和管理。网络脆弱性分析是预防网络攻击发生方法的重要一环,能够帮助网络管理人员建立完备有效的网络控制和管理机制,同时也是网络科学领域的研究热点问题之一。网络中的高风险节点指在网络中影响力高,但防御力低的节点,这些节点是造成网络脆弱的重要因素。现有
自21世纪以来,随着芯片制造与设计工艺的快速发展,计算机的算力有了质的飞跃,因此机器学习科学取得了空前的应用,尤其是深度神经网络在各领域的应用。在使用传统的最优控制理论处理机器人控制问题时存在两个主要难点,其一是需要清楚的知道被控系统的行为模型;另外一点是模型需要精确的输入输出,使用函数估计器带来的误差很大程度上会导致控制模型的失效。强化学习则需要对每个函数都进行近似估计,通过近似估计实现对实际的
我国拥有相对较为丰富的水能资源,但水能资源利用率相对不足,通过对径流时间序列进行可靠的丰枯性预测可以协助决策供电方案,优化发电资源调配,从而提高水资源的利用率,同时对于防洪抗旱方案的制定都具备一定的指导意义。近年来,对于径流丰枯性预测的研究也取得了一些辉煌的成果,但是仍存在着以下需要解决的问题:(1)径流序列不具备明显规律性,需要进行序列分解,但是传统分解方法受端点值影响较大(2)现实中水文数据的
与完全公开了通信规约的已知协议不同,当今的网络中有着许许多多的未知协议,个人或者一些软件厂商考量到有关安全问题、经济利益甚至个人隐私等各种各样的问题,他们并没有选择将协议的细节部分公之于众。由于未知协议在实现和实际应用过程中可能存在各种类型的安全威胁,且在实际网络环境中,目前的网络安全设备多基于已知的协议报文格式进行检测和防护,导致未知协议在实际通信应用过程中面临着极大的安全威胁。分析其存在的安全
分类、定位、检测、分割是计算机视觉领域最核心的任务。近年来,卷积神经网络(CNNs)技术取得了瞩目的成就,促进了目标检测技术飞速发展,越来越成为人类生活的便捷工具,在智能安防、智慧医疗、自动驾驶等领域广泛应用。尽管基于深度学习的目标检测取得长足进步,但在检测不同大小的物体存在相当大的性能差异。小目标物体由于自身尺度问题,存在被遮挡,特征不明显等问题,导致小目标难以检测。因此,小目标检测的研究也逐渐
域适应(Domain Adaptation,DA)是迁移学习的一个分支,其目的是将知识从带标记的源域迁移到缺乏标记但任务相关的目标域,为借助已有的数据知识和节约模型训练的资源成本提供了有效途径。根据目标域数据的获取形式,域适应方法可分为离线域适应和在线域适应。现有的域适应研究大多针对目标域数据全部提前收集的离线域适应场景,它们提出的方法大多从特征层面上关注如何减少两域数据分布的差异,在知识迁移的过
随着大数据时代到来,问答系统作为一种能够高效获取有效信息的手段,引起了各行各业的广泛关注。在军事装备领域,大量的装备类型、型号以及参数信息等对指挥作战人员非常有用,但这些信息却未能得到有效利用。主要原因是现有的搜索引擎给出的查询结果数目过于繁多,相关工作人员无法迅速找到自身所需的信息。针对传统搜索引擎在装备领域存在的问题,本文基于军事装备数据,构建了一个契合用户的个性化问答系统。该系统采用模块化方
目标检测通俗来说,便是找出图像中指定的目标,同时需要找出目标位置和大小。目标检测的根本内容便是“什么目标在哪里”。对于小目标的定义一般有两种,一种是COCO数据集[1]中定义的,物体像素值小于32×32,另一种定义方式是目标的宽和高均在原图十分之一以下,满足以上两种条件之一,则定义为小目标。随着科技的发展,高分辨率航拍图像可用性越来越高,其中包含了大量安全、土地开发、疾病控制、缺陷本地化、监视等相
安全外包计算技术作为云计算的一种应用方式,已经得到了个人和企业的关注。外包计算就是一些硬件条件有限的客户端将需要大量计算资源的任务外包给云服务器,以达到节约自身资源的目的。虽然外包计算在大数据时代拥有广阔的应用前景,但云服务器的不可靠行为是制约外包计算发展的重要因素。如何保证客户端外包数据的安全是设计方案时关注的重点之一。此外,方案的正确性、高效性和结果可验证性也是外包计算的基本要求。大规模矩阵乘