【摘 要】
:
随着多媒体技术的快速发展和智能设备的广泛使用,产生了大量具有经济价值的多媒体视觉数据,为社会发展和科学进步提供了数据支撑。面对快速增长的海量图像和三维模型,如何高效地检索、利用以及管理这些多模态视觉数据是亟待解决的问题。与文本相比,图像可以传达更丰富、更紧凑的信息。因此,基于图像的跨域视觉数据检索为用户提供了一种更加直观便捷的检索方式,成为当前计算机视觉领域的研究热点。本文以图像和三维模型为数据基
【基金项目】
:
国家自然基金“基于拓扑变换的三维模型造型研究”(61672473); 山西省重点研发计划项目“文物的数字化保护技术研究”(201803D121081); 山西省自然科学基金项目“基于持久同调的三维点云高阶拓扑特征研究”(201901D111150); 山西省科技成果转化引导专项“社区机器人智能视觉
论文部分内容阅读
随着多媒体技术的快速发展和智能设备的广泛使用,产生了大量具有经济价值的多媒体视觉数据,为社会发展和科学进步提供了数据支撑。面对快速增长的海量图像和三维模型,如何高效地检索、利用以及管理这些多模态视觉数据是亟待解决的问题。与文本相比,图像可以传达更丰富、更紧凑的信息。因此,基于图像的跨域视觉数据检索为用户提供了一种更加直观便捷的检索方式,成为当前计算机视觉领域的研究热点。本文以图像和三维模型为数据基础,针对跨域检索任务中数据之间模态异质性和实例对象跨域对应的问题,对基于零样本的草图—真实图像检索、基于草图的三维模型检索、以及基于真实图像的三维模型检索展开深入研究。本文的主要研究内容和创新点总结如下:1.针对草图和真实图像的异质性,以及零样本学习知识迁移的需求,提出了一种基于鉴别对抗学习的跨域检索方法。该方法采用对抗学习的思想消除跨域图像之间的模态异质性,实现域对齐;然后通过特征分类器和深度度量学习,为跨域图像数据生成统一、鲁棒且具有鉴别性的特征表示。在通用数据集上的检索实验结果表明,所提方法具有更好的检索性能。2.在基于草图的三维模型检索研究中,现有方法大多数采用多视图的表达形式描述三维模型,并未发挥其具有多种表达形式的优势。针对上述问题,研究了三维模型点云及其多视图特征之间的关联关系,提出了一种基于特征相关性和特征差异性的三维模型多模态特征融合方法,并将其与流形排序算法相结合,设计了一种基于流形排序和多特征空间的方法实现草图与三维模型的跨域对应。三维模型多模态特征融合方法捕捉三维模型多模态特征之间的相关性和差异性,然后采用基于多头注意力的策略实现多模态特征融合,为三维模型提供了更全面、更丰富的特征表示,也为基于草图的三维模型检索方法研究奠定了基础。在通用数据集上基于模型的三维模型检索结果表明该方法通过融合点云和多视图特征,实现优势互补,可以增强特征的表达能力。基于流形排序和多特征空间的方法通过卷积神经网络、基于鉴别对抗学习的特征学习方法,以及基于特征相关性和特征差异性的三维模型多模态特征融合方法构建不同特征空间;然后通过连通图模拟草图和三维模型之间的关系;最后通过流形排序算法传递跨域视觉数据的相似性,得到草图与三维模型之间的相关性。在通用数据集上的检索实验结果表明,该方法的多个评价指标参数优于现有方法。3.现有基于图像的跨域视觉数据检索方法针对单一类型的跨域检索任务设计,其有效性未在多种类型的跨域检索任务上得到验证。针对上述问题,提出一种基于全局特征相关和特征相似的跨域检索方法,适用于基于草图的真实图像检索任务、基于草图的三维模型检索任务、以及基于真实图像的三维模型检索任务。该方法采用对抗学习的思想消除跨域视觉数据之间的模态异质性,实现域对齐;然后通过全局特征相关性学习、在多个特征空间中挖掘并传递特征之间的相关性;同时,通过特征分类器和相似性学习增加类内特征的相似度和类间特征的分离度。在三种类型的跨域检索任务中的良好的检索性能说明所提方法的有效性和泛化性。
其他文献
质子交换膜燃料电池(PEMFC)因其快响应、低能耗、高效率而成为目前新能源领域研究的重要方向,以期解决长期以来对于人类社会对于化石燃料的依赖,并从根本上化解能源和环境问题的严峻考验。由催化剂、气体扩散层和质子交换膜(PEM)组成的膜电极是质子交换膜燃料电池中的关键部件之一。质子交换膜在PEMFC中,发挥着防止气体渗透和传导质子的作用,并最终影响了PEMFC的综合性能。开发高质子传导、低氢气渗透的高
随着我国工业化进程的迅猛发展,工业废水的污染问题已引起人们的广泛关注。尤其以有机物和重金属离子共存的复合废水的治理成为当前需要解决的难题。工业上多以分步法单独处理为主,存在工序繁杂、操作时间长等问题。因此,开发一种可同步去除废水中有机物和重金属离子的新技术成为关键。活性炭(Activated carbon,AC)因其性质稳定、价格低廉,可同时作为吸附剂、催化剂以及催化剂载体在水处理领域中得以广泛应
具有良好生物相容性、接近人体骨密度特性和耐腐蚀性能等优异特性的生物医用材料在人工假体等植入性医疗器械领域具有重大需求。近年来,具备上述优点的钛合金材料作为人工关节植入物已逐步应用于临床医学。然而,普通的钛合金在长期工作后出现摩擦磨损,且缺乏有效持久活性功能,这严重影响了人工关节的使用寿命。因此,减少人工关节间的摩擦磨损、提高其使用寿命成为当前植入性医疗器械领域的研究热点。由于具有相对优良的耐磨损特
在现代化战争中,信息化弹药因具有作战效能高、毁伤效果好、附带损失小、成本低等优势,受到世界各国的广泛关注。本文以某鸭式布局低旋制导炮弹为研究对象,围绕该类制导炮弹研制过程中遇到的相关理论和技术问题,对其实时姿态测量、气动参数辨识与控制系统设计展开了研究。首先,根据鸭式布局制导炮弹的气动特性和运动特点,定义了相关坐标系,建立了六自由度飞行动力学模型,并针对不同的应用场合需求,推导了空气动力学模型以及
钓鱼攻击是一种利用欺骗性的电子邮件地址和邮件信息等方式,将用户引诱到据称是由可信实体运营的网站,如银行网站、社交网站等,并诱使受害者输入个人隐私信息的一种网络攻击手段。网络攻击者通过发送钓鱼邮件、运营钓鱼网站等手段,不仅可以窃取受害者的隐私信息,更可以据此进一步危害受害者所在企业、政府部门等重要组织。本文通过对钓鱼攻击的发起过程和现有防御措施进行深入分析,明确了当前反钓鱼技术中存在的问题,并在检测
自然科学中的许多问题均研究非线性系统。系统的稳定性研究是其中的一个重要分支。许多非线性系统皆用偏微分方程描述,从而研究此类方程解的破裂性态及峰孤子解的存在性问题是近来的研究热点。从系统的稳定性角度出发,本文研究以下两类问题。首先,本文利用检验函数方法验证几类双曲型偏微分方程(系统)解的破裂性态。其次,证明广义旋转双组分Camassa-Holm系统峰孤子解的存在性并给出其解对应的模拟仿真。主要研究内
社会快速发展和人类物质文明高度发达的同时,能源和环境等问题也愈发突出。根据国家提出的碳达峰、碳中和战略,煤炭通过燃烧直接用于发电、供热将受到限制,而将其转化为具有高附加值的原材料,实现煤炭清洁利用具有重要意义。煤及其副产品中具有大量超小的sp2杂化纳米微晶,符合荧光碳点(CDs)所需要的天然结构特征与组分。基于此,本课题组发展了用煤及煤沥青规模化制备荧光碳点的技术,而当前实现煤基荧光碳点的宏量应用
针对TNT基熔铸炸药已不能适应弹药可持续发展的需要,国内外纷纷提出以毒性小、敏感度低以及工艺方法与TNT相近的DNAN对其进行替代。与TNT相似,DNAN基熔铸炸药同样也需要通过提高固相高能组分的含量来增加其爆轰性能。但随着固相含量的提高,其粘度将明显增加,从而使熔铸炸药的加工性能和成型质量下降。如何在提高固含量以增加威力的同时,保证熔铸装药的成型质量,是现阶段我国熔铸炸药研究的热点,其具有重要的
目的 调查心内科护士临床急救能力现状并分析其影响因素。方法 2022年1—2月,使用一般资料调查表、护士职业获益感量表、护士自主学习能力量表及非急诊科护士临床急救能力调查问卷对405名心内科护士进行调查。结果 心内科护士临床急救能力得分为127.36±12.69分。多元逐步回归分析结果显示有4个变量进入回归方程,分别是职业获益感、自主学习能力、年参与抢救次数、是否心血管专科护士(P<0.05),共
土味视频是伴随着网络直播、短视频流行起来的一种亚文化现象。土味视频常与乡村联系在一起,参与主体一般被称为土味博主,涉及青年、中年、老年等各年龄段人群,他们在网络虚拟空间具有极大的传播力与影响力。过往研究主要集中于土味文化这一宏观概念,探讨其在短视频中的传播效能,本文将这一选题进一步细化,聚焦于土味视频的创作主体——土味博主,探讨其如何通过短视频等新媒体软件构建乡村形象。乡村形象的塑造是一个动态且长