论文部分内容阅读
随着传感技术的不断发展,数据的获取方式更加多样化,人们可以通过传感器得到具有不同模态的数据,如图像、文本、声音信号等。如何从这些不同形式的信息中获取人们感兴趣的部分并达到增效利用的目的,成为摆在面前的一个问题。典型相关分析(CCA)是实现信息融合的有力工具,其主要讨论两组变量间的相关性问题,把两组变量之间的复杂相关关系化简,用少数几对变量之间的相关性来反映两组变量间的互信息。由于CCA只能实现对数据的线性变换,存在很大的局限性。核CCA可以通过核方法来学习变量之间的非线性关系,但是需要通过人工选择核函数,核矩阵规模过大会造成求解计算困难。不可否认的是,神经网络作为一种非线性映射系统已经取得了极大的成功,但其传统的梯度类算法训练过程缓慢,泛化性差。超限学习机(ELM)是一种单隐层前馈神经网络,具有结构简单、学习速度快和泛化能力好等优点。本文将ELM引入CCA,通过CCA极大化多层ELM神经网络对不同模态数据学习的非线性特征之间的相关性,间接的将非线性问题转化为线性问题的求解方式,不仅训练速度有显著的提升,将融合的特征用于目标识别任务也可以得到满意的性能。基于CCA的方法对多模态数据的配对要求非常严格,必须满足样本一一对应。然而实际中,不可避免会出现某个模态内部分样本缺失,或者各模态间样本顺序紊乱等问题。通常称多模态数据中只有类别上的对应,而没有具体样本对应关系的数据为弱配对多模态数据。针对上述问题,本文通过研究基于多层ELM的弱配对最大协方差分析法,解决了弱配对数据的特征融合问题。本文的研究工作主要包括以下几个方面:(1)研究出一种新的非线性典型相关分析方法,将ELM引入CCA框架,学习两组变量之间的复杂非线性表示。与现有的基于深度神经网络的非线性CCA方法相比,通过本文方法学习的特征具有更高的相关度,而且在训练速度上有显著的提升。(2)针对多模态数据中的弱配对问题,本文研究出一种弱配对多模态融合框架。通过多层ELM分别对每个模态提取潜在的特征表示,为了得到模态的弱配对特征在共享子空间上的投影向量,引入配对矩阵到最大协方差分析,从而有效解决了模态样本不对应的问题,并且求得的投影向量具有强非线性相关性。(3)分别在目前公开的大规模多模态数据集(两个RGB-D数据集和一个真实的弱配对场景分类数据集)上进行实验验证和分析。