【摘 要】
:
随着3D采集设备和3D建模技术的发展,三维模型的数量日益攀升。面对海量三维模型,如何实现高效的三维模型检索已成为多媒体信息检索领域的研究热点。本文主要研究基于多视特征学习的单域三维模型检索和跨域三维模型检索。单域三维模型检索任务面临的挑战是如何挖掘三维模型多视图之间的相关性,增强对三维模型的表征。跨域三维模型检索任务面临的挑战是如何消除模态间的数据分布差异,实现二维图片与三维模型在共同空间下的特征
论文部分内容阅读
随着3D采集设备和3D建模技术的发展,三维模型的数量日益攀升。面对海量三维模型,如何实现高效的三维模型检索已成为多媒体信息检索领域的研究热点。本文主要研究基于多视特征学习的单域三维模型检索和跨域三维模型检索。单域三维模型检索任务面临的挑战是如何挖掘三维模型多视图之间的相关性,增强对三维模型的表征。跨域三维模型检索任务面临的挑战是如何消除模态间的数据分布差异,实现二维图片与三维模型在共同空间下的特征映射与特征对齐。本文针对这两类检索中存在的问题分别提出了以下解决方案。针对单域三维模型检索,本文提出了多视图层级化融合网络(Multi-View Hierarchical Fusion Network for 3D Object Retrieval and Classification,MVHFN)。利用注意力机制动态地给三维模型的多视图特征分配权重并进行分簇,通过簇内多视图融合机制挖掘视图之间的相似性,并通过簇间多视图融合机制挖掘视图之间的上下文信息。在两个公共数据集(Model Net40和Shape Net Core55)上对MVHFN进行了评估,实验结果表明,本文提出的MVHFN在单域三维模型检索任务中优于其他方法。针对跨域三维模型检索,本文提出了实例特征分布对齐网络(Semantic Consistency Guided Instance Feature Alignment for 2D Image-Based 3D Shape Retrieval,SCIFA)。在视觉特征提取模块中,首先利用深度学习对实例进行特征提取,然后利用互信息挖掘实例的显著性信息。在跨域特征分布对齐模块中,首先引入间隔差异散度进行域自适应。然后设计了两个特征转换器和两个鉴别器,通过对抗训练提取域不变特征,并对转换后的特征施加循环一致损失以保证语义的一致性。在MI3DOR和MI3DOR-2两个跨域数据集上对SC-IFA进行了评估,大量实验的结果验证了SC-IFA的优越性。
其他文献
生物质快速热裂解是生物质转化利用的有效途径,但常因是非催化过程,裂解温度高导致生物油成分复杂难控。以ZnCl2为催化剂,研究了木质素、纤维素、玉米芯和松木粉的热解过程,旨在探索原位催化对快速热裂解的强化作用。通过热重曲线拟合,获得了热裂解的活化能;通过快速热裂解实验,研究了催化作用下热解油组成变化。结果表明,ZnCl2催化可显著降低生物质裂解温度,简化生物油组成。在350℃快速热裂解松木粉获得了4
显著性目标检测任务的目的是在图像中勾勒出人类视觉最关心的部分,用于后续的算法或是减少图像处理的成本。某些应用环境中光照不足,可见光数据通常会失去大部分性能,而热成像数据可以弥补这一部分的信息损失,提高检测性能。本文针对低光照或是光照不稳定的情况下的显著性检测任务,对光照判别、多源数据融合以及显著性检测展开了研究。具体工作如下:首先基于光照判别数据集,训练光照判别模型。将多源显著性检测数据集输入光照
在实际环境中,语音经常受到噪声的干扰,影响语音质量。通常采用语音增强技术滤除语音信号中的噪声污染,提高语音信号的质量。其中麦克风阵列语音增强算法不仅可以使用语音信号自身的时频域信息,还可以使用各信号间的空域信息,空间分辨率较高,抗干扰能力较强,能够弥补单麦克风对噪声抑制不足的缺点,能够获得更好的语音增强效果,但其增强语音中仍存在残留噪声。因此本文提出一种基于噪声估计的麦克风阵列语音增强系统,主要结
近年来,深度学习技术在计算机视觉、语音识别、自然语言处理等多个领域崭露头角并取得了巨大成功。该技术主要基于神经网络模型,采用“端对端”的特征学习方法,通过多层处理找到数据中隐藏的非线性特征,进而能够从大量训练集中自动学习以掌握全局特征。然而,基于神经网络模型的深度学习技术目前还存在计算复杂度大和表达能力有限等问题。针对上述问题,本文从轻量化卷积算子和自适应激活函数这两个角度进行了研究:第一,提出了
屏摄图像上的摩尔纹是指在拍摄数字显示设备时,数码相机的感光原件和显示设备的显示元件之间发生混叠而产生的干扰条纹。这种干扰条纹的尺寸、形状和颜色会根据拍摄角度和不同相机参数设置而发生变化,这使得很难使用人为设计的先验信息来对摩尔纹进行去除。传统的有监督的深度学习方法需要使用大量严格成对的带摩尔纹图像与干净图像来训练网络,这需要很大的人力物力财力支持。并且拍摄时显示设备和拍摄设备之间的不同夹角以及拍摄
在社会信息化大发展的时代,图像处理技术已逐渐成为科学研究的重要支撑,正不断渗透在各个领域中。光学图像滤波处理正得到广泛关注,其包括医学诊疗图像处理方向的视网膜光学相干层析(Optical Coherence Tomography,OCT)以及电子散斑干涉(Electronic Speckle Pattern Interferometry,ESPI)两个方面。OCT和ESPI等测量技术所采集到的图像
通过语言指导机器人完成通用性任务是人工智能领域的重要研究课题之一。近年来,越来越多的学者试图将计算机视觉与自然语言处理领域的相关技术相结合来实现这一目标,视觉语言导航(Vision-and-Language Navigation,VLN)是其中的核心问题。本课题源自于科研“手势-眼动联合操控小型无人系统XX应用研究”项目,该项目主要研究未来智能人机交互、人机协同的方式方法,本文针对其中的无人系统智
随着分布式能源并网调控、新能源电动汽车充放电等新型数字化电力业务的大量兴起,电力系统承载的业务数据网正加速趋于多样化、广域化、智能化。为了保证承载多主体大业务的电力系统安全稳定运行,高性能高可靠的电力通信网络成为关键性因素。对于点多面广的分布式发电侧和低压配电网侧来说,尚未实现完全的电力物联信息互联互通,电力通信“最后一公里”问题仍然存在。近年来无线移动通信技术迅猛发展,以5G为代表的先进信息通信
语音增强旨在利用音频信号处理技术及算法提高失真语音信号的可懂度和听觉感知质量,使被噪声干扰的语音信号仍能有效传递信息。随着麦克风设备的低成本化和人工智能技术的发展,基于深度学习的麦克风阵列波束形成语音增强算法通过监督学习的策略,解决了传统波束形成算法所需先验知识多以及在低信噪比条件下算法鲁棒性差的问题。然而,现有的算法为提升性能,一方面不断改进网络结构,导致模型往往过于复杂;另一方面利用学习的方法
光流不仅包含图像中每像素的运动信息,还携带丰富的三维结构信息,是计算机视觉领域的一项重要任务。光流估计在视频理解、动作识别、自动驾驶等领域得到广泛应用。与手工提取特征的方法相比,利用深度学习可以实现稠密光流估计且具有计算速度快的优势,受限于已有的光流数据库真值样本少、获取成本高等现实情况,现有的光流估计算法存在噪声敏感度高、泛化性能差的问题。针对这些问题,本文设计了基于元学习的光流估计算法,完成工