论文部分内容阅读
随着现代信息技术的发展,海量的多媒体信息资源的涌现对经典的信息检索和管理提出了巨大的挑战。在多媒体数据的检索需求中,人们对媒体的语义和内容本身的理解往往要比对媒体的类型更为关心。因此对检索的需求并不满足于单一模态信息的检索结果,为此需要一种支持不同模态之间交叉检索的系统模型来解决跨媒体检索(Cross-Media Retrieval,CMR)问题。针对跨媒体检索所遇到的“语义鸿沟”和“维度灾难”问题,本文对跨媒体检索的理论模型和应用开发进行了相关研究。提出了一个基于时空相关性的跨媒体检索模型(Cross-Media Retrieval Model based on Temporal-Spatial Correlation,CMRMTSC),并根据跨媒体信息处理的特点给出相应的具体算法和解决方案。具体的有以下几个方面的主要工作:1.为处理复杂的语义映射问题,认为媒体语义应该采用分层结构来减少“语义鸿沟”。模仿图灵机设计了一个语义机模型,并给出具体信息处理方案。为实现具体的语义学习和映射过程,设计了一种基于支持向量的隐马尔可夫模型(SupportVector Hidden Markov Models,SVHMM)的混合非线性分类器,并利用选择性多分类器集成学习方法提高系统的分类能力。2.在高维特征处理问题上,文章给出多媒体的特征提取和特征融合方法。采用主独立成分分析(Principal Independent Component Analysis,PICA)的线性降维算法,寻求影响特征语义的主独立成分,减少特征之间的冗余度,实现多模态特征的融合和降维处理,以降低“维度灾难”的影响。3.针对媒体之间的时空相关性特点,参照香农信息论提出了媒体相关度和相似度的计算方法,采用基于云模型和模糊C均值的时空聚类(Cloud model and FuzzyC-Means based on Temporal-Spatial Clustering,CFCMTSC)算法实现媒体的时空相关性聚类分析。系统的相似性和相关性匹配基于聚类以后的结果进行,可缩小信息检索范围,提高信息检索的效率。并通过相关反馈和查询结果聚类技术提高检索的精度和系统的可用性。4.文章对模型涉及到具体问题给出了理论分析和相关算法,并在时空多媒体数据集上进行实验分析和验证。结果表明,本模型能适用于时空多媒体的跨媒体检索问题,并具有较高检索效率和排序紧密度。最后以一具体的时空多媒体数据库管理的项目为背景,设计了相应跨媒体检索系统的体系结构,并给出了时空多媒体数据库(Temporal Spatial Multimedia Database,TSMD)具体设计与应用效果。