点云多尺度上下文关系度量及其语义分割

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:mzh18277648
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,三维点云分析在计算机视觉、机器人以及自动驾驶等许多领域得到了广泛关注。传统的点云分析方法通过人为定义的规则或手工设计的特征提取点云的特征表示。这类方法依赖于启发式的先验知识,因此不能很好地处理复杂的点云场景。随着深度学习技术的蓬勃发展,越来越多的研究人员将这一技术应用到点云分析中,并在各种点云分析任务中取得了显著效果。然而,点云具有不规则性、无序性以及稀疏性等特性,这使得如何高效地提取点云的局部特征仍然是一项极具挑战性的工作。同时,作为最基本的视觉任务,点云语义分割在实际应用中具有重要的指导价值。现有的语义分割方法在处理复杂的点云场景时,由于缺少足够的语义上下文信息,会产生大量的误分割结果和噪声问题。本文针对上述两个问题,分别提出以下两个工作来高效提取点云的局部特征以及改善点云的语义分割性能。首先,本文提出了一种新的卦限卷积神经网络(Octant Convolutional Neural Network,Octant-CNN)来高效地提取点云的局部特征。该框架由卦限卷积模块和下采样模块组成。针对输入点云,卦限卷积模块首先定位每个点在八个卦限内的最近邻点,接着通过多层卷积操作将八卦限中的几何特征抽象成语义特征,并将低层几何特征与高层语义特征进行有效融合,从而实现了利用卷积操作高效提取三维邻域内的局部结构信息;下采样模块对原始点集进行分组及特征聚合,从而提高特征的感受野范围,并且降低网络的计算复杂度。Octant-CNN通过对卦限卷积模块和下采样模块的分层组合,实现了对三维点云进行由底层到抽象、从局部到全局的特征表示。实验结果表明,Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能。其次,本文提出了带有局部聚合分类器的反向注意力融合网络(Backward Attentive Fusing Network with Local Aggregation Classifier,BAF-LAC)解决点云语义分割缺少足够的上下文信息的问题。该网络由一个反向注意力融合的编码-解码器(Backward Attentive Fusing Encoder-Decoder,BAF-ED)和局部聚合分类器(Local Aggregation Classifier,LAC)组成,其中BAF-ED用来学习语义特征,LAC确保点的上下文感知能力。具体而言,BAF-ED弥补编码器和解码器之间的语义差异性。在编码器中,每一层编码特征均通过高层特征派生的注意力图进行增强,并与相对应的解码层特征进行融合。LAC通过将邻域内点的特征聚合到中心点,从而改善分类器只针对单点进行分类,分类结果缺少上下文一致性的问题。通过这些模块,BAF-LAC可以提取出具有高区分度的语义特征,使得预测结果更具平滑性。在Semantic3D,Semantic KITTI和S3DIS上进行的大量实验表明,本文提出的方法可以获得具有竞争力的结果。
其他文献
由于光照、色调等因素的干扰,采集自不同摄像头的同一个行人的图像通常存在视觉差异,而不同行人的图像却可能很相似,因此往往很难用线性模型来区分它们。我们通过对传统的只能用于单视图场景的协同表示分类器(CRC)进行跨视图非线性扩展,提出跨视图核协同表示分类(CV-KCRC)框架并将之应用于行人重识别。CV-KCRC不仅能增强CRC处理跨视图异类样本线性难分问题的能力,而且还能提升了模型的判别力和鲁棒性。
近年来,物联网(Internet of Things,Io T)技术发展迅速,其应用领域已经扩展到智能家居、智能医疗、农场监测和智慧交通等方面。由于无线通信环境的开放性,安全与隐私问题是物联网发展的关键因素。认证方案是实现物联网安全的第一道防线,但是单一认证方案容易造成传感器节点认证的延迟、网络资源占用问题,而群组认证方案能够提高网关对节点的认证效率,适合节点数目繁多的物联网环境。此外,若节点以真
信息隐藏是保证网络通信数据安全的重要手段之一,发送方可以通过密钥和特定算法将秘密信息嵌入到载体中,再由接收方通过密钥和特定算法提取出秘密信息。其中,图像因其易获取性和多样性,成为目前使用最为广泛的隐藏载体之一。信息隐藏技术不仅能够保证秘密信息本身的安全,还能保证载密图像进行可靠的传输,因而受到国内外学者的广泛关注及深入研究。传统自适应图像隐写算法对于待改变像素位置选择大多依赖人为经验设计,需要耗费
深度神经网络在图像分类、目标识别等任务中已经取得了显著效果,然而训练集(源域)和测试集(目标域)的数据分布不一致会导致模型的性能大幅下降。领域自适应在解决训练数据与测试数据分布不同方面具有重要的现实意义。本文重点研究在目标域无标签的情况下提取领域不变特征,提高模型对于目标域的分类准确率。现有的域适应方法忽略了目标样本的分类信息,在特征提取过程中生成器往往在分类边界产生有分歧的特征从而影响了模型分类
心理学研究表明图像刺激会唤起人类的不同情感响应,图像情感分类任务旨在运用机器学习模型自动预测观测者看到图像时的情感反映,构建图像情感自动预测模型在社交网络、互动广告推广等场景中具有重要的应用价值。现有研究表明相比于整幅图像,图像的某些局部区域会更易引起人类情感响应,而注意力机制则可以有效学习图像中与任务关联的关键区域。为此,本论文提出了联合视觉显著性的图像情感分类网络模型。具体工作包括两个方面:(
随着社会的快速发展,微信、淘宝、微博等社交媒体用户数数以亿计,通过社交媒体可以发表心情、感想和对各类事件的看法等,并由此产生了大量的社交文本数据。通过对社交文本中的情感信息进行情感倾向挖掘,可以很直观的反映出用户个人的情感倾向和社会舆论问题。在政府舆论监督、企业管理决策、个人情感管理等方面都发挥着重要的作用。目前,针对传统文本情感倾向的分析研究已经比较成熟,但社交短文本的情感分析研究依然还比较落后
深度学习在给计算机视觉领域带来革新的同时,也对社会安全产生着威胁。尤其是近年来由人脸交换技术制作的伪造人脸视频,不仅侵犯了个人隐私还影响了社会安全。目前大量的研究开始专注于检测这类伪造人脸视频,但在检测模型的设计阶段普遍缺乏针对动态瑕疵、纹理瑕疵等伪造人脸特殊性的考虑,导致现有模型难以有效地融合人脸视频的空间与时间特征。另外,缺乏足够的约束会导致模型学习到冗余信息,进而使伪造检测任务上特征的表达精
射频识别技术(Radio Frequency Identification,RFID)已先后在多个领域内成功地应用,给人们带来了诸多的便利。而且随着物联网热潮的兴起,深入到人们日常的生活工作出行中,人们也越来越离不开射频识别等技术。然而,基于射频识别技术的系统工作在开放信道中,往往面临着窃听、重放、去同步等多种类型的安全威胁,在交易或使用过程容易出现隐私信息泄露、财产损失等问题,这将会阻碍物联网技
随着深度学习的广泛应用,通过变脸、换脸或生成对抗网络(Generative Adversarial Network,GAN)等方式生成的虚假人脸在网络中不断传播。因此,研究有效的人脸取证技术变得尤为重要。针对生成人脸检测,当前其研究主要关注整幅人脸图像均为生成的。但在一些现实场景中,一幅生成人脸图像中只是小部分局部区域是生成的,甚至很小部分,其余绝大部分区域都是自然的,例如人脸图像复原、眼镜去除、
数字图像数量的急速增长促使各团体组织和个人,将图像存储和计算处理外包给云服务器。而无防御地上传明文图像到云服务器会带来隐私泄露风险,图像加密又会阻碍数据的有效使用。现有的加密图像检索技术使用户承担了大量计算任务,如特征提取、特征加密、索引建立等,因而研究减轻用户负担的检索方案成为了本论文的重点。为此,本论文提出基于局部二值模式(Local Binary Pattern,简称LBP)的加密图像检索方