【摘 要】
：
随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生。跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量。文中梳理了跨模态检索领域近期的研究进展,从传统方法、深度学习方法、手工特征的哈希编码方法以及深度学习的哈希编码方法等角度归纳论述了跨模态检索领域的研究成果。在此基础上,对比分析了各类算法在跨模态检索常用标准数据集上的性能。最后,分析了跨模态检索研究存在的问题,并对该领域未来发展趋势以及应用进行了展望。
【机 构】
：
中国民航大学计算机科学与技术学院,民航智慧机场理论与系统重点实验室
【基金项目】
：
中央高校基本科研业务经费中国民航大学专项资金项目(3122021052),天津市自然科学基金(18JCYBJC885100)。
论文部分内容阅读
随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生。跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量。文中梳理了跨模态检索领域近期的研究进展,从传统方法、深度学习方法、手工特征的哈希编码方法以及深度学习的哈希编码方法等角度归纳论述了跨模态检索领域的研究成果。在此基础上,对比分析了各类算法在跨模态检索常用标准数据集上的性能。最后,分析了跨模态检索研究存在的问题,并对该领域未来发展趋势以及应用进行了展望。
其他文献
针对现有疲劳驾驶检测技术不能有效平衡准确性和实时性的问题,通过融合人眼特征与深度学习,构建一种新的疲劳驾驶检测模型。设计GP-VGG16网络进行眼部状态识别,通过将人工先验信息集成到轻量级深度网络中,提高眼部状态识别的准确性、稳定性和实时性。在此基础上,利用眼部特征-疲劳等级模型将疲劳状态划分为9个等级,定量估计驾驶员状态,同时基于少样本学习建立高效的自动标签生成网络,减少对大量无标签驾驶数据的语
文本表示的高维性会增加文本分类时的计算复杂度。针对该问题,构建基于类邻域字典的线性回归分类模型。采用K近邻方法构造各类别的类邻域字典,根据对测试样本的不同表示,分别提出基于级联类邻域字典和基于类邻域字典的线性回归分类算法。此外,为缓解噪声数据对分类性能的影响,通过度量测试样本与各个类别之间的相关度裁剪噪声类数据。实验结果表明,该模型对长文本和短文本均能够得到较高的分类精度和计算效率,同时,噪声类裁剪策略使其对包含较多类别数的文本语料也具有较好的分类性能。
将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系。在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型。在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,利用SENet模块学习各个通道的重要程度以获取更好的图像表征。实验结果表明,与B
服饰文化是京族传统文化的重要组成部分.经过创新之后,女性服饰形成了修身、窄袖等结构,能够凸显女性身材,而男性服饰则大多是及膝长衣.广西京族的传统服饰经历了两个发展阶
针对高铁环境中包含多个主用户的主服务和多个次用户的频谱分配问题,提出一种认知博弈频谱共享算法。引入次用户优先级和用户传输业务等级,满足不同优先级用户的不同业务频谱使用需求,并根据主基站和次用户的距离变化更新主服务向次用户提出的价格函数,获得静态博弈下的纳什均衡解,同时分析不完全信息和完全信息的动态博弈,确定不完全信息动态博弈的稳定区间。分别对静态博弈和动态博弈进行仿真,结果表明,在该算法下,当次用户优先级相同时,不同业务等级租借不同的带宽,业务等级越高,租借的带宽也越多,随着距离的变化,较高的业务等级频谱
现有用于软体驱动器角度测量的接触式传感器主要包括惯性传感器与曲率传感器,但惯性传感器的测量精度易受软体驱动器内嵌气道膨胀的影响,曲率传感器测量则存在迟滞和漂移等问题。为进一步提高接触式传感器测量软体驱动器角度的准确性,结合模糊推理与卡尔曼滤波结合的算法实现惯性传感器和曲率传感器数据融合。基于BP神经网络和长短时记忆网络分别融合曲率传感器和惯性传感器,减少接触式传感器测量软体驱动器角度时迟滞和气道膨
安全代理被越来越多的互联网用户用于规避网络审查和访问受限资源,因此安全代理流量的分类对于网络安全和网络管理具有重要意义。为弥补深度包检测技术在过滤和识别不良信息上的不足,提高防火墙流量探测能力,提出一种安全代理流量分类方法。提取用于安全代理流量分类的侧信道特征,包括有效载荷长度序列、信号序列等,使用机器学习和深度学习算法对Shadowsocks、V2Ray、Freegate、Ultrasurf 4种被广泛使用的安全代理流量进行识别。实验结果表明,通过提取与有效载荷内容无关的侧信道特征进行分类,与MLP、L
为在人体姿态估计过程中有效获取多尺度特征和关键点坐标,建立一种基于改进特征金字塔网络(IPFN)的人体姿态跟踪模型。在原特征金字塔上采用新的检测器扩大感受野得到新特征金字塔,通过引入多尺度卷积生成高斯热点图,同时搜索和定位关键点,使坐标转换层将高斯热点图转为坐标,实现端到端训练过程。实验结果表明,相比FPN,IPFN模型在MPII数据集的PCKh和COCO数据集的AP上分别提高了2.05和3.20
在不完全连续干扰消除(SIC)条件下,对认知无线电-非正交多址混合系统中的次用户总传输速率进行研究,提出一种基于参数变换和KKT条件的功率分配算法。采用非正交多址方式使次用户接入授权信道,在主次用户服务质量、最大发射功率等约束条件下,通过参数变换对原约束条件进行改写设计新的优化问题,并利用KKT条件求解最优功率分配因子进而实现系统中次用户总传输速率的最大化。仿真结果表明,与CNPA算法和等功率分配算法相比,该算法可明显提高系统中次用户的总传输速率,并且对于不完全SIC具有更强的承受能力。
文章对新标准GB/T14272—2021《羽绒服装》中羽绒服装理化性能的变更进行解析,为面料供应商提供参考性建议及注意事项。