论文部分内容阅读
跨媒体是在多媒体的基础上,模拟人脑管理和使用不同类型的多媒体数据。跨媒体的提出更加符合人脑对视觉、听觉等不同感官信息的综合处理模式。如何存储、检索和交换以不同媒体形式表达的相同或相关的跨媒体信息成为近年来的重要课题。不同类型的多媒体特征之间存在着关联信息。这些信息能在多媒体语义理解过程中有效地完成信息的互补和增强,并为各媒体之间的跨越提供了基础。跨媒体信息相关性研究致力于发现并有效地表示和利用多媒体对象之间的这种关联。 本文的研究瞄准“大数据”时代跨媒体海量信息处理,基于云计算技术,研究典型相关性分析的概率模型以及跨媒体海量信息相关性建模等方面的理论问题,并设计实现跨媒体相关性分析云引擎。取得的主要成果有: 1.典型相关性分析(CCA)是一种线性数学模型,不足以揭示真实世界中大量存在的非线性相关现象。本文采用局部化的方法,在概率典型相关性分析(PCCA)的基础上,使用概率混合模型框架,提出了混合概率典型相关性分析模型(MixPCCA)以及估计模型参数的两阶段EM算法,并给出了使用聚类融合确定局部线性模型数量的方法和MixPCCA模型应用于模式识别的理论框架。在USPS和MNIST手写体数据集上的实验证明,MixPCCA模型通过混合多个局部线性PCCA模型不仅提供了一种捕捉复杂的全局非线性相关性的解决方案,而且还具备检测只在局部区域才存在的相关性的能力。 2.针对弱匹配多模态数据的相关性建模问题,本文提出了一种弱匹配概率典型相关性分析模型(SemiPCCA)。SemiPCCA模型关注于各模态内部的全局结构,模型参数的估计受到了未匹配样本的影响,而未匹配样本则揭示了各模态样本空间的全局结构。在人工弱匹配多模态数据集上的实验表明, SemiPCCA可以有效克服传统CCA和PCCA在匹配样本不足的情况下出现的过拟合问题,取得了很好的效果。接着,本文提出了一种基于SemiPCCA的图像自动标注方法。该方法基于关联建模的思想,同时使用标注图像及其关键词和未标注图像学习视觉模态和文本模态之间的关联,从而能更准确地对未知图像进行标注。 3.将CCA引入迁移学习,结合基于特征映射迁移学习的思路,本文提出了一种跨领域典型相关性分析(Cross-Domain CCA,CD-CCA)算法。该算法在保持各领域特有特征与领域共享特征相关性的基础上,通过选择合适的基向量组合训练分类器,使降维后的相关特征在领域间具有相似的判别性。在20Newsgroup上144×6个分类问题以及多领域情感分析数据集上12个分类问题的实验结果表明,CD-CCA算法可以有效地提高跨领域迁移分类准确率。 4.对比分析了目前主流的云计算技术,并以Spark平台为基础实现高斯混合模型(GMM),概率主成份分析(PPCA),概率典型相关性分析(PCCA)以及本文中提出的混合概率典型相关性分析(MixPCCA)和弱匹配概率典型相关性分析SemiPCCA的EM算法并行化方案,设计实现了跨媒体相关性分析云引擎,为用户提供跨媒体的检索服务。