视频语义概念检测的跨域迁移学习研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:hsmk888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络和多媒体技术的发展,各种图像和视频数据呈爆炸式的速度增长。视频语义概念检测是实现从底层特征到语义概念映射的机器学习问题。在视频语义概念检测中,新视频数据的不断涌现导致训练集和测试集数据分布不一致,原有训练集上建立的算法和模型无法适用于新增数据。跨域迁移学习是在分布不同但有关联的学习任务或数据域进行知识迁移的机器学习问题,其目的是较快地利用以往所学知识对新问题进行学习,能有效地解决概念检测中数据分布不一致的学习问题。论文针对概念检测过程的训练样本选择、模型学习和概念测试等关键环节中存在的问题,研究基于跨域迁移学习的语义概念检测算法,以提高新数据域上语义概念检测性能。在TRECVID2005和TRECIVD2007的大规模数据集上,验证了论文方法的有效性。论文的主要创新点有:   (1)基于概念关系的跨域迁移学习方法   为扩充目标域训练集,通常基于图像特征选择源域样本,但选择出的样本缺乏多样性。针对这一问题,提出了基于概念关系的跨域迁移学习方法。鉴于协同训练(Co-Training)对不同的特征子空间协同学习的优势,论文基于概念关系特征,利用协同训练从源域中选择样本,以增加目标域训练样本的多样性。实验结果表明,该方法能有效提高跨域迁移性能。   (2)基于多图优化的多模态跨域迁移学习方法   针对跨域迁移的模型学习过程没有利用多模态特性问题,提出了基于多图优化的多模态跨域迁移学习方法。由于图模型能有效描述多模态特性,论文采用基于多图优化的半监督学习方法,在目标域中引入源域的多模态跨域迁移信息。在此基础上,针对图模型处理小批量新增数据的局限性,利用最近一轮优化结果,提出了一种增量扩展方法,避免了图模型的重新优化问题,从而降低了算法时间复杂度。实验结果验证了该方法的有效性。   (3)基于伪相关反馈的跨域迁移学习方法   针对训练集与测试集分布不一致加剧“语义鸿沟”阿题,提出了基于伪相关反馈的跨域迁移学习方法。鉴于伪相关反馈在缩小语义鸿沟方面的优势,论文对现有模型在测试数据集中的多特征综合判断结果,采用伪相关反馈自动选取伪样例;在此基础上,采用Tradaboost方法,将伪样例融入到跨域迁移学习中,以充分利用现有模型的语义信息。实验结果表明,该方法显著提高了跨域迁移学习的性能。
其他文献
近年来,在诸如网络流量分析、传感器网络、入侵检测等应用中,相关的业务数据往往来自于多节点的网络环境,在各个节点源源不断产生大量的数据流并不断地被收集处理,这样的环境被称
视觉语音是说话者说话过程中伴随着以唇部为主要区域的口型等变化表达言语信息,目前被广泛应用于唇读以及与声音语音一起实现双模态的语音识别其研究方法涉及了语音识别,计算
视觉搜索即从干扰项中找到特定目标项的视觉行为过程,是人们日常学习和生活中一项重要的认知活动,是人们获得信息和知识的重要手段之一。随着互联网的飞速发展,越来越多的人
人体运动跟踪关键技术研究在虚拟现实、人机交互、动画制作、互动娱乐、训练仿真、运动分析等方面有着重要的意义。随着微机电系统(MEMS:Micro-electromechanical Systems)技
随着信息技术的迅速发展和网络的普及,信息技术对于经济的发展和科技进步产生了深远的影响。考试是教学活动中的一个重要环节,它用来检查考生掌握所学知识的情况。由于考试的
空间数据挖掘也叫大规模空间数据库知识发现,是指对空间数据库中隐含的知识、空间关系或其他非显式的模式的提取。由于空间数据库固有的海量性特点,空间数据挖掘面临的主要挑战
近年来,结合了通用处理器的灵活性和专用集成电路的高效性优点的可重构计算技术获得了广泛深入的研究,它具有灵活高效的结构,非常适合多媒体运算和信号处理等计算密集型任务
可计算设备种类的多样化以及数字通讯方式的迅速变革,给面向群组的应用提供了良好的平台。针对如数字会议系统,基于文本的通讯工具,计算机协同工作系统等的群组应用,开发者需要谨
相较于单处理器的执行平台,多处理器的执行平台由于可以提供更强大的处理能力而正在被越来越广泛的应用到各类实时系统中。例如,越来越多的嵌入式系统使用多处理器的平台来执
随着计算机多媒体技术和数字图像处理技术的迅猛发展,人们对数字图像的分辨率要求越来越高。高分辨率图像不但更加清晰,而且包含着更多的细节,而这些细节在许多实际应用中不