论文部分内容阅读
近年来,图像分类成为了计算机视觉和模式识别领域的一个研究热点。特征提取算法作为图像分类的基础,备受研究者的青睐。本文采用几何代数为数学工具,结合视频图像和高光谱图像的特点,对视频图像的局部不变特征和深度特征提取算法、高光谱图像局部不变特征提取算法中的关键技术展开了深入研究,主要创新性工作包括:(1)视频的运动信息是视频中的重要信息,特别是应用在目标有较大的运动过程中,运动信息对视频的表征起着关键的作用,是表观信息外的又一关键信息。因此,为了充分利用视频空域上的表观信息和时域上的运动信息,本文以几何代数为数学理论框架对视频图像构造了表观-运动变化信息的时空几何代数统一模型(unified model of apparence and motion-variation,UMAMV)。(2)高光谱图像光谱域信息是体现物质属性的重要信息,本文利用光谱域上的梯度信息和空域上的表观信息来表征高光谱图像包含的宏观信息,并以几何代数为数学理论框架对高光谱图像构造了表观-梯度变化信息的空谱几何代数统一模型(unified model of spectral value and gradient change,UMSGC)。(3)提出了基于视频UMAMV的UMAMV-SIFT特征检测算法。视频的局部不变特征是对视频进行模式分类的基础,而尺度不变特征转换(Scale-invariant feature transform,SIFT)特征具有很好的抗目标遮挡、光照变化、视角变化、尺度变化等仿射变换以及较强的抗噪性能。UMAMV-SIFT特征检测算法首先对视频的UMAMV构建尺度空间,然后通过变尺度的方式构建高斯金字塔以及高斯差分金字塔,最后在高斯差分金字塔上通过极大值抑制的方式来检测特征点。实验结果表明了所提算法相比传统的特征提取方法可以更加有效地检测到运动明显的特征点,能提取数量更多、位置更准确的局部不变特征。(4)提出了一种基于视频UMAMV的UMAMV-TSN网络。时间分段网络(Temporal Segment Networks,TSN)基于长范围时间结构对视频进行建模,并结合在时域上的稀疏采样策略以及视频级别的监督使得对整段视频的学习变得更加的有效和高效。UMAMV-TSN网络首先将视频分段并抽样,然后对每个视频片段构造包含表观信息和运动信息的UMAMV模型,再将上述信息分别导入空间网络和时间网络,并用段共识来获得片段之间关于类别假设的共识,再对整个视频作类别预测,最后按照一定的权重比融合对视频作行为分类识别。在UCF101和HMDB51数据集上的实验结果验证了UMAMV-TSN网络的有效性。(5)基于高光谱图像的UMSGC提出了UMSGC-SIFT特征提取算法。在特征检测过程中,首先生成UMSGC的尺度空间,然后在尺度空间上构造高斯金字塔和高斯差分金字塔,并在差分金字塔上寻找能同时反映光谱值和梯度变化信息的局部不变特征。在提取到局部特征之后,为了充分反映局部特征附近局部图像的形状和纹理特性以及光谱域的物质属性,我们提出一个新的UMSGC-SIFT特征描述子来对提取到的局部特征进行描述。实验结果表明UMSGC-SIFT算法在高光谱图像特征提取上的有效性和准确性。