基于领域自适应的跨媒体检索研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:timhero
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,每天都有大量的多媒体文件产生,如何在海量数据中检索相关内容成为了科研人员重点关注的内容。传统的检索方法是在同一模态的数据中进行检索,如:图片检索、文本检索等,这种检索方式反馈的结果类型单一、形式不灵活,无法满足人们的需求,因此很多科研人员开始研究跨模态检索问题。跨模态检索是在不同的媒体数据中进行检索,通常用某种类型的数据查询得到内容相关的其他类型文件,例如:图片检索文本、文本检索图片等。和传统的检索方法相比,跨模态检索的反馈结果包含的信息更加丰富,不同的媒体文件间内容互补,给人们带来良好的检索体验。但是不同模态的数据间存在着异构鸿沟,如特征提取方式不同、特征维度空间不同、数据分布不同等,我们无法直接计算不同媒体文件间的相关程度。因此,如何缩小不同模态间的异构差异成为了跨模态检索要解决的难点问题。受到领域适配中特征迁移的启发,我们将域适应能力融入在子空间学习中,提取出具有域间不变性的特征,这样我们可以在子空间中直接计算不同模态样本间的相关程度,从而得到相应的检索结果。本文提出了两种算法来解决跨模态检索问题,主要工作如下:1.传统的子空间算法重点关注的是同一模态内部的结构信息,忽略了多种媒体文件间的互补信息。为了提取不同模态间的关系,本文在第三章提出了新的基于子空间学习的跨模态检索算法。该算法在分类误差的基础上,利用领域适配中的拉普拉斯矩阵将不同模态间的关系抽取出来,大大缩小了模态间的误差,增强了模态间的联系。该算法在多个数据集中表现突出,检索精度较其他方法都有一定提升。另外,我们还对算法进行了深度分析,增加了收敛速度、时间复杂度、参数敏感度的实验内容,实验结果证明该算法具有时间复杂度低、效果稳定、收敛快的优点。2.本文在第四章提出了基于多空间学习的跨模态检索方法。与传统的子空间学习不同的是,该算法在公共子空间的基础上,还增加了各自模态的私有空间。私有空间主要负责存储模态内部的结构信息,从而一定程度上减少了公共子空间的干扰。另外,为了使得私有空间和公共空间彼此独立,我们对私有空间和公共空间增加了正交的约束条件,并且利用重构误差以确保多空间学习的有效性。和其他经典算法相比,该算法在两种检索任务上都取得了很好的成绩。为了证明算法中各模块的有效性,我们对多模块间的不同组合进行测试。实验效果证明,多个空间的配合使用有利于检索效果的提升。另外,在实验部分,我们还增加了参数敏感度分析、收敛速度分析等实验内容,并将实验结果可视化。
其他文献
背景及目的胰高血糖素样肽1(Glucagon-Like Peptide-1,GLP-1)是由胃肠道L细胞分泌释放的一种激素,其生理作用包括促进胰岛素的合成和释放,刺激胰岛β细胞的再生、增殖,抑制胰
目的:随着保膝观念的日趋复兴,传统的截骨术得到进一步的重视和发展,更加精确化的截骨成为研究的热点。胫骨高位截骨术(High Tibial Osteotomy,HTO)是治疗内侧间室骨关节炎伴
随着信息技术的发展,各种自动化和智能化管理控制技术都得到广泛应用。物联网作为信息化的重要组成部分,已成为重点研究的问题之一。而传感器感知数据对物联网的应用有非常重要的意义,物联网的价值之一就是为上层应用提供有用可靠的数据。由于传感器自身结构的特点以及一些外界的影响,传感器数据缺失不可避免。为了更好挖掘有效的数据信息,对缺失数据进行重建就显得尤为必要。目前多数数据重建方法都是基于单一属性,具有一定的
深度嵌入式系统(Deeply Embedded Systems)是与真实环境联系紧密、资源受限的嵌入式系统。随着物联网技术的发展,深度嵌入式系统得到了大规模的应用,如智能家居、智慧城市等。深度嵌入式系统运行状态监测和异常检测成为保障系统正常工作、提高系统可用性的关键保障性技术。然而,由于部署环境复杂多样、计算机资源严重受限等特点,深度嵌入式异常检测面临诸多的挑战。本文以数据为驱动深入研究了深度嵌入
基于属性签密机制能够在一个步骤下完成属性加密和签名,该机制不仅提供数据的机密性和认证性,同时能够实现数据细粒度的访问控制和数据共享。因此,基于属性签密机制的研究在实际应用中具有重要的意义,成为目前密码学研究的热点。本文针对基于属性签密机制进行深入研究,具体包括:(1)针对电子健康记录系统中数据拥有者个人敏感信息泄露的问题,基于双线性对,结合基于属性签密机制和Cuckoo过滤器技术,提出一种新的支持
大规模多输入多输出(Massive MIMO)技术作为5G移动蜂窝网络的关键技术之一,近年来已经成为无线通信领域的研究热点。空间调制(SM)技术和广义空间调制(GSM)技术利用Massive MIMO的空域信息隐性地传输信号,不仅能有效克服信道间干扰,而且降低了天线同步要求。由于隐形地传输信号,可提高信息传输速率,抵消由于空闲天线造成的频谱效率降低。同时,因为有效射频链路较少,可降低系统的实现成本
目的:高血压是一种多种因素综合的慢性疾病,其发病过程中伴随低度炎症性反应。以经典高血压动物模型自发性高血压大鼠(Spontaneously Hypertensive Rat,SHR)为研究载体,采用传
目的腓骨长肌腱作为重建后交叉韧带的新兴移植材料取得了满意的近期疗效,但远期疗效尚不明确,尤其是供区踝关节远期的稳定性受到质疑。本研究通过回顾性分析后交叉韧带损伤患
研究背景帕金森病(Parkinson’s Disease,PD)是全球第二常见的神经退行性疾病,其发病率仅次于阿尔兹海默病。PD的临床表现主要包括运动症状(主要包括运动迟缓、静止性震颤、
[目的]喉癌是常见头颈部恶性肿瘤之一,男性多见。课题组通过定量蛋白质组学技术,筛选得到喉癌相关蛋白磷酸烯醇式丙酮酸羧激酶2(Phosphoenolpyruvate carboxykinase 2,PCK2),通过瞬时转染技术干扰PCK2后,初步探讨PCK2在低氧微环境中的表达及功能,为阐明喉癌发病的分子机制提供更多实验依据。[方法]1.分析低氧环境下喉癌SCC10A细胞的蛋白质组学结果,筛选出相关