基于学习的视觉显著计算

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:zzyynn99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的快速发展,图像和视频等多媒体数据呈现出爆炸式的增长趋势,这也对相应的信息处理技术提出了新的挑战。一方面,受限于计算机的处理能力,人们需要将有限的计算资源分配至重要视觉信息进行重点分析和处理;另一方面,人们希望使用计算机获得的自动分析结果能够符合人类认知。针对这两方面的需求,本文将主要研究如何通过机器学习的方法进行视觉显著计算,以实现对符合人类认知的重要视觉信息的自动预测、定位和挖掘。本文的主要创新点包括:   第一,提出了一种基于概率多任务学习的视觉显著计算方法,用于解决自底向上和自顶向下因素的融合问题。该方法将多任务学习算法引入视觉显著建模过程中,这在国内外相关研究工作中尚属首例。该方法通过一个概率框架同时引入了自底向上和自项向下因素的影响。该框架不仅使用多尺度小波分解来模拟视知觉系统中的底层过程,而且通过学习算法来建模视知觉系统的高层过程中对输入信号的偏置。在该框架下,本文通过多任务学习算法来同时优化在不同场景上的模型以及模型融合策略。通过在多种数据集上的对比实验,该方法能够取得较好的视觉显著预测效果,并具有较高的健壮性。   第二,提出了一种基于代价敏感配对排序学习的视觉显著计算方法,用于解决视频眼动数据集的稀疏标注问题。该方法在国内外相关研究工作中首次将视觉显著计算建模为排序学习问题,具有鲜明特色。该方法避免了对可信正例和负例的直接选择,而是通过一种代价敏感的排序学习框架来直接引入稀疏正例和未标注数据的影响。实验证明,该排序学习框架能够同时引入局部视觉特性和“显著目标-干扰物”之间关系的影响,使得该方法能够更好地适用于只有稀疏标注的视频眼动数据集。   第三,提出了一种基于多任务排序学习的视觉显著计算方法,用于解决视觉显著计算时的场景自适应问题。该方法将视觉显著计算建模为多任务配对排序学习问题,对不同的场景类别构建不同的视觉显著模型。在模型构建过程中,该方法不仅能够同时学习出多个适用于不同场景类别的视觉显著模型,还通过模型间的信息共享提高了每个模型的泛化能力。在视频眼动数据集上的大量实验证明,该方法在多种场景下均能够取得很好的视觉显著计算效果。   第四,合作提出了一种基于互补显著度图的显著对象提取方法,并在此基础上开发了基于视觉显著对象提取的视频广告关联系统。该广告系统包括广告拉取和推送两个子模块,分别通过简单用户交互和互补显著度图来提取视频中的兴趣/显著对象。此后,这些兴趣/显著对象将与用户兴趣结合起来,以一种低干扰的方式,为用户提供内容相关的个性化广告服务。目前,该系统即将被华为公司集成到其下一代智能流媒体服务产品中。   综上所述,论文针对基于学习的视觉显著计算所面临的三个重要问题进行了研究,同时对基于视觉显著计算的对象提取技术及其在视频广告关联中的应用作出了初步的探索。该论文在国际上首创性地总结了将机器学习方法引入视觉显著计算的必要性,并通过大量实验展示了通过机器学习的方法进行视觉显著计算的可行性和有效性。此外,本论文的研究工作为在视觉显著计算领域开展更为广泛深入的研究奠定了基础。
其他文献
以IEEE802.11为代表的无线局域网技术正在经历飞速发展。随着无线互联网基础设施日益完善和带有WiFi功能的电子设备急剧增加,随时随地接入互联网已经不再是美好的愿望,人们正在
云计算是一种基于互联网的计算新方式,其核心思想就是将网络上的资源和能力进行更有效的分享,以达成高效率、低成本计算的目标。虚拟网络子系统作为基础设施云计算系统中必不
学位
学位
随着互联网、电子商务、电子政务的快速发展,IT服务(信息技术服务)已经成为全球经济发展的重要支柱。IT服务也逐渐变成我国现代服务业的基础。随着IT发展进入信息业务阶段,IT服
伴随着互联网的迅猛发展,网络中的数据量也成指数增长。这些网络数据很多都是以文本形式出现的。文本作为因特网中重要的信息载体,一直是相关领域的热门研究对象。在商业中,
语音识别技术是人机交互的重要手段,但由于环境噪音、话语人口音等因素,在实际应用环境中的语音识别正确率并不高。如何提高语音识别正确率是一个亟待解决的问题。本文从语音
随着传统的家庭生活和娱乐方式的改变,在整个网络中出现了新型数据类型如语音数据和视频数据等,这些数据类型的出现对整个网络传输提出了新的要求比如传输时延低,数据包丢失
在现代社会中,随着经济的飞快发展,生活水平的不断提高,用电需求量的不断加大,越来越多的无人值守变电站被建立。由于无人值守变电站分布区域广、数量多,设备以及财产的安全保障需
近年来云计算相关的云存储、云服务等技术的研究逐渐成为了学术界研究的热点。作为云服务的主要形式之一,平台即服务PaaS (Platform as a service)提供完整的开发及运行平台,