论文部分内容阅读
三维模型技术随着信息技术的迅猛发张取得了广泛的应用,三维模型存在于人们生活的方方面面,例如三维建模、三维重建、3D电影、三维体感游戏和三维医疗等。特别地,得益于已经在各行各业逐渐普及的三维模型拍摄设备,每天都有海量的三维模型被分享到网络平台,相应的产生了大量三维模型数据集。然而,其中只有小部分用于学术研究的数据集具有详细和相对准确的人工标注,大部分三维模型数据库,尤其是用户端三维拍摄设备获取的三维数据都缺少类别和属性标签信息,这为三维模型大数据的智能管理带来极大挑战,也为三维模型检索关键技术研究带来新问题,例如如何利用有标签的三维模型预测无标签三维模型的类别信息,如何实现来自不同数据库的三维模型互相检索。因此,跨域三维模型检索成为了该领域一项具有重要理论研究意义和应用价值的研究问题。具体研究工作包括一下两个方面:
(1)针对三维模型检索问题,本文提出了联合几何分布和统计分布的跨域三维模型检索方法。该方法在检索过程中不要求目标域数据具有标签信息,因此该方法属于无监督学习。该方法可以有效整合三维模型的深度特征学习和域自适应学习。通过保留每个域的共有特征和特定特征,使两个数据域之间的统计偏移和几何偏移以无监督的方式最小化。同时,域自适应学习可以增加三维模型特征的判别性信息,有助于提升跨域检索性能。
(2)对于大规模数据库,模型数量更多,场景更加复杂。因此,本文还提出了联合域对齐的端到端的跨域三维模型检索网络(End-to-End Visual Domain Adaptation Network for Cross-Domain 3D CPS Data Retrieval, C3DOR-Net),相较于VDA,该方法把域适应方法用损失函数实现,成为了端到端的跨域检索方法,联合学习避免了多阶段方法造成的误差累积,性能更好。
本文根据三维模型数据格式和模态的差异在三组跨域三维模型检索数据集上进行实验:1)PSB(Princeton Shape Benchmark)和NTU(National Taiwan University’s Dataset)两个数据集的CAD模型互相检索;2)从包含CAD和RGB-D三维模型的ObjectNN数据集中实现RGB-D到CAD的检索;3)基于二维图像的三维模型检索。在与相关领域最流行的算法做比较之后,大量实验都证明了本文提出方法的优越性。
(1)针对三维模型检索问题,本文提出了联合几何分布和统计分布的跨域三维模型检索方法。该方法在检索过程中不要求目标域数据具有标签信息,因此该方法属于无监督学习。该方法可以有效整合三维模型的深度特征学习和域自适应学习。通过保留每个域的共有特征和特定特征,使两个数据域之间的统计偏移和几何偏移以无监督的方式最小化。同时,域自适应学习可以增加三维模型特征的判别性信息,有助于提升跨域检索性能。
(2)对于大规模数据库,模型数量更多,场景更加复杂。因此,本文还提出了联合域对齐的端到端的跨域三维模型检索网络(End-to-End Visual Domain Adaptation Network for Cross-Domain 3D CPS Data Retrieval, C3DOR-Net),相较于VDA,该方法把域适应方法用损失函数实现,成为了端到端的跨域检索方法,联合学习避免了多阶段方法造成的误差累积,性能更好。
本文根据三维模型数据格式和模态的差异在三组跨域三维模型检索数据集上进行实验:1)PSB(Princeton Shape Benchmark)和NTU(National Taiwan University’s Dataset)两个数据集的CAD模型互相检索;2)从包含CAD和RGB-D三维模型的ObjectNN数据集中实现RGB-D到CAD的检索;3)基于二维图像的三维模型检索。在与相关领域最流行的算法做比较之后,大量实验都证明了本文提出方法的优越性。