基于多源图像信息的三维模型检索关键技术研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:llt009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机辅助设计技术的飞速发展和新兴媒体的不断涌现,三维建模在智能制造、3D电影、3D动画、虚拟现实/增强现实和三维医疗等领域扮演着重要角色。面对数据与日俱增、种类多样的三维模型数据,如何智能地管理这些数据,已成为多媒体分析领域的研究热点。传统的三维模型检索主要使用文本关键词或者是三维模型作为输入,来实现相关模型的查询。然而,传统方法面临两大困难:一方面,文本标注主观性强,复杂模型无法用精简准确的语言描述;另一方面,对于普通用户来说,三维模型不易直接获取。因此,急需研发更加智能和便捷的三维模型检索技术来满足当前需要。智能移动终端设备的普及使得拍照、草图、涂鸦等2D图像数据的获取和生成变得异常便捷,这些来源多样的数据能便捷地描述用户对待查询信息的需求,为创新三维模型检索技术的研发带来了便利条件。因此,面向多源图像信息的三维模型检索应运而生。面向多源图像信息的三维模型检索其核心基础是基于图像的三维模型检索,是对三维模型检索的一种技术拓展,该拓展性是依据检索查询图像来源的多样性定义的。通常,基于图像的三维模型检索任务就是在给定一张2D图像的情况下,去给定的三维模型数据库中查询与之相关的三维模型。该任务的关键在于图像和三维模型的表征学习。然而,在实际应用中,图像的来源具有多样性和多源性,给该任务带来机遇与挑战,三维模型与类型未知图像的共嵌空间学习以及三维模型与多源图像的多共嵌空间对齐等技术成为研究的关键。通过对该领域研究现状的调研和分析,本文围绕以下三个紧密关联的内容展开研究:(1)三维模型与自然图像的表征学习:图像和三维模型属于不同模态的数据,具有显著不同的外观,因此无法直接利用各自视觉特征进行相似性度量,从而完成检索任务。因此,需要缩小图像与三维模型的特征差异,建立可共享的视觉特性表征空间。针对基于自然图像的三维模型检索任务,本文基于自适应分布对齐和域结构一致性提出两种表征学习方法:1)基于自适应分布对齐的表征学习方法通过自适应调整自然图像和三维模型数据的边缘分布和条件分布,实现域不变特征的学习;2)基于域结构一致性的表征学习方法是通过挖掘图像域和三维模型域数据分布结构的信息,建立两者的关联性,提升伪标签预测的准确度,进而更好的辅助域对齐,实现域不变表征学习。最后,将这两种方法在MI3DOR和MI3DOR-2数据集上进行有效性验证,由实验结果可知,自适应分布对齐和域结构一致性对齐的这两种方法都可以减少图像和三维模型间的域差异,实现检索性能的显著提升,其中这两种方法在MI3DOR数据集上,最近邻准确性NN分别提升了16.5%和14.0%。此外,基于域结构一致性对齐方法优于基于自适应分布对齐方法,最近邻准确性NN评测指标在MI3DOR和MI3DOR-2数据集上分别提高了9.5%和1.5%。(2)三维模型与类型未知图像的共嵌空间学习:在实际应用中,作为查询输入的图像可能会有多种类型,如自然图像,草图和涂鸦等,不同类型图像与3D模型之间数据形态差异大,缺乏统一的共嵌空间学习方法来实现独立于图像类型先验的三维模型检索技术。本文提出了一种基于中间域生成的共嵌空间学习方法。该方法在流形空间下,探索能够满足类型未知图像和三维模型数据分布对齐的潜在共嵌空间,实现类型未知的图像和三维模型的表征学习。最后,在MDI3D数据集上进行算法有效性验证,将自然图像和草图分别作为查询输入,最近邻准确性NN分别提升了47.8%和12.8%,其他评价指标也有所提升,这说明了中间域生成的方法能灵活处理三维模型与类型未知图像的共嵌空间学习。(3)三维模型与多源图像的多共嵌空间对齐:多源图像信息可以多维度表示待检索三维模型的多样化视觉特性,并与三维模型因模态不同,视觉特征差异显著,导致各种来源的图像和三维模型的共嵌空间的数据分布不同,难以联合利用多源图像实现三维模型检索。本文提出了语义一致性引导的多源共嵌空间对齐方法。首先,该方法将多源图像与三维模型进行分组,构建了基于组数据特定域特征的分布对齐层,实现不同的三维模型和2D图像组间各自对齐,利用对齐后的特征进行分类器学习和预测;其次,为了实现语义一致性空间的学习,将所有分类器的输出进行对齐,保证不同分类器对同一样本数据具有相同的预测结果,进而实现了三维模型与多源图像的多共嵌空间对齐。最后,在MDI3D数据集上进行算法有效验证,实验结果表明,语义一致性引导可以实现多共嵌空间对齐,有助于提升多源图像下的三维模型检索性能。
其他文献
随着配电网中光伏渗透率的持续快速增长,配电网光伏接纳能力分析与优化提升问题得到了越来越广泛的关注。本文考虑配电网多元不确定性因素的影响,深入开展了配电网光伏接纳能力建模分析与优化规划区间仿射方法研究,可为多元不确定环境下的配电网规划运行提供决策依据,对保障配电网安全稳定运行、促进光伏接纳、推动实现我国碳中和目标都有一定指导意义。主要工作如下:1)从光伏接纳能力内涵定义、影响因素、概念模型和数学模型
学位
【目的】提升岑溪软枝油茶的春梢质量和促进花芽分化。【方法】以12年生岑溪软枝油茶为试验材料,于2021年3月春梢萌动前对油茶主枝分别进行环剥、环割和环扎处理,并设置对照。处理时和处理后每隔15 d分别采集处理部位上下皮部,测定可溶性糖、淀粉、全氮和有机碳含量;在春梢生长结束时测定春梢长度和基部直径,统计春梢数量,在现蕾期统计花芽分化率。【结果】环剥和环扎处理的油茶春梢长度均低于对照,其中环剥达到显
期刊
随着改革开放脚步日益加快,我国城市化建设的规模在不断扩大,为提高土地资源的利用率,高层建筑数量快速攀升。同时,高层建筑火灾已逐渐成为消防工作火灾防范的重点,然而高层建筑体量大、结构复杂、功能多样、人员密集,这给消防安全管理工作带来了极大的挑战。本文主要分析了高层建筑的特点,阐述了消防安全管理工作的意义,提出了优化高层建筑消防安全管理工作的措施。
会议
当前消防安全形势日益严峻,尤其是高层建筑消防安全更是引起了足够重视,本文综合分析了这方面存在的问题,从建筑防火设计和社会化监督管理等角度提出解决对策。
会议
With the urgent requirement of energy transformation and widespread deployment of information network represented by 5th generation mobile technology,the distributed resources are gradually merging fr
学位
当前,在教育数字化转型的背景下,各类信息技术手段逐渐融入教育教学,这为教师的专业发展提出了更高的要求。基于此,本文以促进高素质教师队伍建设为目的,采取文献分析等方法对教育数字化转型背景下的教师专业发展路径进行探索,并提出参考建议,即利用数字技术资源,加强专业学习;利用数字技术资源,促进专业改进;积极参与网络研修,提升专业素养;积极参与教学研究,提高专业水平;重视教学实践创新,实现专业发展。
期刊
油纸绝缘是特高压直流换流变压器阀侧绕组的主绝缘,其放电行为威胁直流输电系统的安全运行。目前,换流变压器油纸绝缘局部放电的相关研究主要在稳态条件下开展,无法为换流变压器的绝缘设计提供可靠的理论依据。本文基于换流变压器实际运行工况,建立了阀侧绕组油纸绝缘局部放电、水分含量和电场分布之间的关联关系,揭示了运行工况下换流变压器油纸绝缘局部放电机理,并提出了一种基于氧化锌磁控溅射改性的油纸绝缘局部放电抑制方
学位
大量抗生素在污泥中被检出,然而传统的污泥处理工艺如厌氧消化,不能有效去除抗生素。微生物电解池(microbial electrolysis cell,MEC)由于引入了新型的电活性微生物菌群和胞外电子传递过程,能够显著提高系统的生物降解效率。因此在本研究中构建单室MEC处理浓缩污泥,探究外加电压、运行温度和运行时长等因素对抗生素去除和抗生素抗性基因(antibiotic resistance ge
学位
本文从数字化教学资源的丰富性、教学方式的多样性、评价体系的完善与反馈机制的优化等方面探究了教育数字化转型对高中信息技术课程的影响,同时从多元智能理论、学习风格理论、知识结构与学习路径等方面阐述了个性化学习路径的理论基础,并提出了教育数字化转型推动个性化学习的实践策略,其中包括利用数字化资源构建多样化的学习内容、设计灵活的教学活动与任务、搭建线上线下结合的学习平台、建立个性化评价与反馈机制。
期刊
报纸