基于生成对抗网络的三维模型多形式检索

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:dmj_66666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机图形处理能力和三维建模技术的不断提高,越来越多的多媒体数据大量出现并被用户广泛使用。三维模型数据作为继声音、文本、视频等之后的新一代多媒体数据,在游戏、虚拟现实环境、医学诊断和计算机辅助设计等领域已经得到了广泛的研究和应用,促进了三维模型检索技术的出现和快速发展。然而,目前在三维模型检索技术中仍然存在的一些挑战性问题阻碍了三维模型检索技术的发展。基于内容的三维模型检索主要是通过提取三维模型本身的特征,实现模型对模型的检索。然而,在许多实际应用中,三维模型复杂的空间结构和形状信息导致了三维模型特征信息很难被充分表示。由于文字无法精准地描述一个三维模型,所以三维模型和文本的跨媒体检索的核心问题(语义鸿沟)尚未得到很好的解决。针对基于内容的三维模型检索以及三维模型和文本的跨媒体检索中存在的问题,本文分别提出对应的解决方法,其主要工作及创新点如下所示:(1)提出基于组对深度特征学习的三维模型检索方法。该方法主要包括三个核心阶段:视图特征提取、组对特征学习和特征融合。本文利用一种改进的卷积神经网络提取视图描述符,并利用池模块中的最大池和平均池操作来聚合视图描述符以减少三维模型有效信息的丢失。由于不同类型特征包含不同的三维模型信息,本文利用有监督的自编码器和多标签判别器来进一步挖掘三维模型的潜在特征和类别特征。本文采用串联的方式将两种特征进行融合以形成更具判别性的形状描述符,同时定义一个边界中心损失来进一步提高三维模型检索性能。在Model Net10与Model Net40数据集的实验结果表明所提出的方法优于其他对比方法。(2)提出基于多模态辅助分类器生成对抗网络的文本检索模型方法。在该方法中,共享网络将三维模型和文本数据投影到公共子空间来获取同语义特征表示。而判别器能够区分特征表示的模态及所属类别以提升共享网络的特征学习能力。同时,本文定义一个基于结构保持损失的神经网络优化方法来提高模型检索的准确性。此外,在多模态辅助分类器生成对抗网络模型的基础上引入自编码器,构造基于自编码器的多模态辅助分类器生成对抗网络。该网络主要利用自编码器重构数据的特性进一步缩小文本和三维模型之间的语义鸿沟,并提高三维模型和文本之间的跨媒体检索性能。在XMedia Net数据集上的实验结果表明两种网络均取得了良好的检索效果。本文以特征学习为研究目标,通过利用卷积神经网络、自编码器以及生成对抗网络的表征学习能力实现三维模型的深度特征提取,并通过不同类型特征的智能融合,分别给出高效的三维模型的单模态检索方法和基于文本的三维模型的跨媒体检索方法,以实现基于生成对抗网络的三维模型多形式检索。
其他文献
创新社会治理已成为人民政协在新形势下的重要使命。作为人民政协的主要职能之一,民主监督在推进社会治理创新进程中,有利于发挥广大人民群众的力量,参与社会治理;有利于加强
十月末的资阳,一场“美食盛宴”燃爆了丝丝寒意,让这座“国际(柠檬)美食名城”再次上了热搜。35000年前,古老的“资阳人”开启了四川人类文明史。现如今,资阳已是四川省唯一
数据挖掘作为一项从海量数据中提取知识的信息技术引起了国内外学术界和产业界的广泛关注,基于数据仓库的联机分析挖掘系统的应用已成为数据挖掘技术的发展趋势,本文结合联机分
随着用户需求与信息技术的发展,新一代数字图书馆已渐露端倪。同时,我国“十一五”期间数字图书馆建设面临新的目标和任务,与此相应,数字图书馆建设也面临新的知识产权问题。本文
研学让中小学生从课堂走向更广阔、更丰富多彩的外部世界,改变了学生的学习情境和学习方式。要提升中小学研学活动的质态,必须统筹研学设计的多维关系,融合部分与整体、能力
从占领手机到走进家庭,互联网大佬们似乎成了所有人欢迎的"第三者",但这仅仅是开始。智能家庭的背后,隐藏着巨大的商业潜力,或许这是大佬们的下一步大棋——组建互联网型物业服
目的本研究拟在静息态功能磁共振成像(resting state-functional magnetic resonance imaging,rs-fMRI)基础上采用图论网络分析方法构建全脑功能网络,观察震颤型帕金森病(tre
作战意图预测技术是智能化战争中的一种重要作战手段,能够准确分析战场态势要素间的联动关系,把握关键战场态势,帮助指挥员进行分析决策,使得双方对抗局势按照我方理想战局的轨迹发展,从而夺得作战先机,实现快速制胜。本文以复杂环境下的敌我攻防对抗为作战环境,以博弈论、云模型、二元语义等智能算法为作战理论、以实现快速制胜为作战驱动,将空中来袭目标作战意图预测技术分为来袭目标主攻方向预测、作战效能评估及动向预测
家庭作为乡土社会最基本的组织单位,承担着生养死葬的基本职能,故家庭养老是农村地区最主要的养老方式。当前,农村地区养老问题日益突出,养老难备受社会关注。本文通过对河南
叙述了如何提高供电线路的可靠性和安全性、连续性、稳定性,设计了一种重合闸智能剩余电流动作断路器,并给出了硬件结构和软件设计。结果表明:该重合闸智能剩余电流动作断路