论文部分内容阅读
基于概念的视频检索技术,经过近十年的研究和发展,已经成为缩小“语义鸿沟”的有效途径,成为基于纯文本视频检索的有效补充。近年来,随着视频分享网站的蓬勃发展,面对内容丰富,标注质量参差不齐的网络视频集,如何实现当前基于概念的视频检索技术从窄域视频集向广域网络视频集的迁移,成为一个重要研究课题。 本文从已有的基于概念的视频检索技术出发,分析了其向网络视频集迁移中遇到的挑战,从语义概念集的构建、视觉语义概念检测和查询映射三个方面,深入展开基于概念的网络视频检索技术研究,取得了如下研究成果: 1.基于网络弱标签的主题概念集构建算法 在语义概念集的构建方面,本文提出了基于网络弱标签的主题概念集构建算法,该算法利用HDP主题模型挖掘网络标签中存在的主题性,以主题为单元构建概念集;并基于主题概念在网络数据集上的标注训练概念检测器,实现视觉底层特征到主题概念的映射,为视频分析和检索服务。一方面,由于每个主题概念表示为原始标签词典上的一个多项式分布,使得主题概念集能在数量精简的同时保持对整个网络标签集的覆盖;另一方面,由于主题概念的标注来自所有相关标签共同作用的结果,从而保证了主题概念能从网络弱标签中获得更鲁棒的标注。在公开网络数据集上的实验验证了本文提出的主题概念集的有效性。 2.基于增强近邻下抽样的SVM聚合算法 在视觉语义概念检测方面,面对大规模不均衡数据集下的学习问题,本文引入基于下抽样的分类器聚合框架,该框架通过下抽样策略,保证训练数据均衡的同时,减少训练数据规模,并通过聚合多个分类器的结果来提高单个分类器的性能。在此基础上,本文提出了基于增强近邻下抽样的SVM聚合算法,通过考虑样本的分类性能和分布,选择与正样本在当前分类器输出空间最近邻的负样本,进一步提高了算法性能。此外,考虑到由于高维视觉特征引入的时间开销,本文提出SVM核距离离线计算策略来提高学习算法的效率。在公开数据集上的实验结果表明,本文提出的算法能兼顾性能和效率,为大规模不均衡数据集下的视觉语义概念检测提供了一个有效解决方案。 3.基于二分图传播的多概念集查询映射算法 在查询映射方面,由于传统的针对窄域视频集设计的专家概念集覆盖面较窄,限制了视频检索的性能。本文引入前文提出的主题概念集,并以此为基础,提出了基于二分图传播的多概念集查询映射算法,有效融合专家概念集和主题概念集。该算法利用二分图对查询与多概念集之间的关系进行建模,通过查询节点在二分图上的传播,挖掘查询与概念、概念集内部以及概念集之间的关联,实现自适应的多概念集查询映射。在公开数据集上的实验结果表明,该算法能自适应地调整查询对不同概念集的依赖程度,实现多概念集之间的互补,提升检索性能。