论文部分内容阅读
近年来,随着三维模型建模技术的发展以及低成本采集设备的出现,三维模型数据规模日益庞大,已经成为文本、图像、视频、音频以外的一种新模态大数据。由于三维模型能够更加真实的表征自然界中物体的空间结构特性和外观特性,三维模型已被广泛的应用于智能制造、数字娱乐和虚拟现实等领域。面对指数级增长的三维模型大数据,如何实现便捷的三维模型获取和管理已成为亟待解决的难题。因此,基于内容的三维模型检索关键技术成为了当前计算机视觉和人工智能等相关领域的研究热点。
本论文在对该领域研究现状进行深入调研和分析的基础上,以三维模型的多视图以及多模态数据为研究对象,对三维模型鲁棒的特征学习以及准确的相似性度量问题展开了深入研究。本文的具体研究工作和创新点总结如下:
1.针对多视图视觉特征鲁棒性差的问题,提出了基于多视图内部排序信息和基于多视图间相关性信息的特征学习方法。基于多视图内部排序信息的特征学习方法采用排序支持向量机来挖掘三维模型多视图在特征空间中的排序信息,从而得到三维模型多视图的统一表征;基于多视图间相关性信息的特征学习方法采用三维模型之间的相关性来引导特征学习,通过度量学习中的映射矩阵提升模型特征的鲁棒性。在通用数据库上的实验表明,所提方法在各个评测指标上的检索精度优于现有经典方法1.2%-6.9%,检索速度提升了约15倍。
2.针对多视图视觉特征相似性度量困难的问题,提出了基于层级化图结构的相似性度量方法。所提方法将多视图相似性度量中的多对多图匹配问题转化为融合各视角下单视图相似性度量问题,避免了多对多图匹配中局部子图结构挖掘以及匹配困难的问题。此外,本文提出了基于节点上下文信息以及基于模型上下文信息的单视图相似性度量方法,增强了单视图相似性度量。最后通过融合多个单视图的相似性得到三维模型多视图间的相似度。在通用数据库上的实验表明,所提方法在各个评测指标上的检索精度优于现有经典方法2.6%-6.0%。
3.针对多模态数据分布差异显著的问题,提出了基于多模态的三维模型检索方法。所提方法通过采用相应的图匹配方法度量了三维模型多视图间的外观视觉相似性和点云间的空间结构相似性。最后通过融合策略实现多模融合的三维模型检索。在通用数据库上的实验表明,所提方法在各个评测指标上的检索精度优于现有经典方法1.9%-13.3%,适合可以获得多种模态信息的三维模型检索场景。
此外,针对实际应用中单视图与数据库中三维模型多视图间的视觉特征分布差异显著的问题,本文构建了基于单视图的三维模型检索数据库,并在三维模型检索国际著名评测SHREC2019-3DShapeRetrievalContest上举办了基于单视图的三维模型检索国际评测,推动了该任务的研究。
本论文在对该领域研究现状进行深入调研和分析的基础上,以三维模型的多视图以及多模态数据为研究对象,对三维模型鲁棒的特征学习以及准确的相似性度量问题展开了深入研究。本文的具体研究工作和创新点总结如下:
1.针对多视图视觉特征鲁棒性差的问题,提出了基于多视图内部排序信息和基于多视图间相关性信息的特征学习方法。基于多视图内部排序信息的特征学习方法采用排序支持向量机来挖掘三维模型多视图在特征空间中的排序信息,从而得到三维模型多视图的统一表征;基于多视图间相关性信息的特征学习方法采用三维模型之间的相关性来引导特征学习,通过度量学习中的映射矩阵提升模型特征的鲁棒性。在通用数据库上的实验表明,所提方法在各个评测指标上的检索精度优于现有经典方法1.2%-6.9%,检索速度提升了约15倍。
2.针对多视图视觉特征相似性度量困难的问题,提出了基于层级化图结构的相似性度量方法。所提方法将多视图相似性度量中的多对多图匹配问题转化为融合各视角下单视图相似性度量问题,避免了多对多图匹配中局部子图结构挖掘以及匹配困难的问题。此外,本文提出了基于节点上下文信息以及基于模型上下文信息的单视图相似性度量方法,增强了单视图相似性度量。最后通过融合多个单视图的相似性得到三维模型多视图间的相似度。在通用数据库上的实验表明,所提方法在各个评测指标上的检索精度优于现有经典方法2.6%-6.0%。
3.针对多模态数据分布差异显著的问题,提出了基于多模态的三维模型检索方法。所提方法通过采用相应的图匹配方法度量了三维模型多视图间的外观视觉相似性和点云间的空间结构相似性。最后通过融合策略实现多模融合的三维模型检索。在通用数据库上的实验表明,所提方法在各个评测指标上的检索精度优于现有经典方法1.9%-13.3%,适合可以获得多种模态信息的三维模型检索场景。
此外,针对实际应用中单视图与数据库中三维模型多视图间的视觉特征分布差异显著的问题,本文构建了基于单视图的三维模型检索数据库,并在三维模型检索国际著名评测SHREC2019-3DShapeRetrievalContest上举办了基于单视图的三维模型检索国际评测,推动了该任务的研究。