基于李代数高斯表示的动作识别方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:FollowMyHeart88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
过去十年中,视频中的动作识别一直是计算机视觉领域非常热门的研究课题。目前,最成功的动作识别方法大多为基于局部特征的方法,这些方法有类似的思想,也就是将视频表示为局部特征的集合。这类方法能够归纳为一个统一的动作识别框架,包含几个关键步骤:局部特征提取、特征编码、特征汇集以及分类器学习。通过特征的编码和汇集,局部特征集合中的特征向量被聚合为单一的视频向量表示。  在很长一段时期,向量量化编码是动作识别领域中的通行做法,量化编码之后进行平均汇集即得到视觉单词直方图表示。由于向量量化编码有一些明显的缺点,如量化误差大、需要较大的视觉单词码本,一些在图像分类领域被发明的非常有效的特征编码方法被应用到动作识别领域,如费舍尔向量(Fisher Vector,FV)和局部聚集描述子向量(Vector of Locally Aggregated Descriptors,VLAD)。根据其他研究者全面的验证和比较,FV被认为是视觉分类领域最优秀的特征编码方法。  李代数高斯表示(Lie Algebrized Gaussians,LAG)是一种新近被提出的特征聚合方法。本文通过研究LAG和其他特征聚合方法,提出了一种非常有效的改进LAG性能的技术。在 LAG特征聚合方法中,从一个视频样本中提取出的局部特征被用来训练一个高斯混合模型(Gaussian Mixture Model,GMM),该样本GMM的参数基于一个全局GMM通过最大后验估计得到。然后基于李群论,样本GMM被编码为一个向量作为视频的向量表示,也称之为GMM向量化。尽管LAG和FV得自于完全不同的理论,通过对LAG进行一步近似推导和适当的代数变形,可以发现LAG与FV有非常类似的形式,表达了局部特征非常类似的信息。基于这个重要的发现,其他研究者提出的用来改进FV的幂归一化和二范数归一化操作应该对LAG同样有效。理论上的分析和实验结果均验证了这一猜想。实验结果表明,在均进行幂归一化和二范数归一化操作后,LAG要优于FV。  针对基于时空兴趣点和视觉单词直方图的动作识别方法的缺点,充分利用 LAG的优势,本文提出了一种新的基于密集采样和 LAG的动作识别方法。首先,提取视频各帧中的兴趣区域(Region of Interest,ROI),ROI也就是动作发生的区域。然后,对视频进行限制在 ROI内的多尺度密集采样,提取局部特征。为了描述局部特征在ROI内的空间分布信息,通过添加局部特征块相对于ROI的归一化位置坐标来对局部特征向量进行增强,理论分析说明了这种做法在 LAG框架下是合理的。接下来,基于坐标增强后的局部特征向量构建视频的LAG向量。最后,采用线性支持向量机对视频的LAG向量进行分类。在这个动作识别方法中,ROI的提取和局部特征描述子可以根据具体应用进行选择。一种可行的ROI提取方法是利用现有的人体检测和跟踪算法提取视频中各帧图像的ROI,对于特征描述子,三维梯度方向直方图是一个很好的选择,它能够同时描述表观信息和运动信息。实验结果证实了该动作识别方法的有效性。  为了利用视频中局部特征的时空分布信息来提高动作识别效果,本文基于LAG提出了一种新的时空布局建模方法。在动作识别中一种常用的描述时空布局的方法是时空金字塔法(Spatio-TemporalPyramid,STP)。在STP中,视频的三维时空空间被划分为若干单元,对每一个单元分别计算单元内的局部特征的概率分布。本文提出的方法基于与STP方法相反的思想。首先,对于一个视频样本,用GMM对从中提取出的局部特征的概率密度进行建模。该GMM实际上提供了对特征向量空间的一个软划分,对于特征空间的每一个单元(对应于每一个高斯成分),对软指派到该单元的局部特征的时空位置同样采用GMM对其概率密度进行建模。同样基于LAG对这些时空位置GMM进行编码,得到的向量称之为时空LAG(Spatio-Temporal LAG,STLAG)。实验结果表明,相较于STP方法,STLAG更加有效,并且STLAG产生的视频向量表示更加紧凑。与基础特征的LAG向量组合在一起,STLAG能够显著提升动作识别的效果。
其他文献
谓词加密是公钥密码学中一个新的研究热点。谓词加密是公钥密码学中基于身份加密、基于属性加密、加密数据搜索等一系列研究的延伸和发展。谓词加密可以对加密数据进行谓词评
数据压缩技术是实时数据传输系统研究的核心和重点之一,它对于减少数据所占用的存储空间,提高传输信道的利用率,增强传输数据的安全性具有非常重要的作用。环保数据的在线监
随着优化算法和启发式算法的提出,国内外掀起了研究智能优化算法的热潮。禁忌搜索是一种新的智能优化算法,是由美国科学家Glover教授于1986年正式提出。禁忌搜索(TS)在智能算
随着嵌入式系统的广泛应用,嵌入式实时操作系统RTOS也越来越受到重视,尤其是在工业控制、航空航天、医疗卫生和军用等领域。RTAI (Real-Time Application Interface)是由意大
随着处理器的计算能力的迅速提高、嵌入式技术的迅猛发展和嵌入式系统应用领域的不断拓宽,使得嵌入式软件的规模以及复杂性的不断增长,从而导致了开发时间和费用也在不断的增长
随着科学技术的普及,在家中我们与物体的交互方式以及物体和物体的交互方式正在发生着变化,我们的家正在向着智能家居转变。在过去这些年里,许多新技术都应用到了我们的家中,智能
城市道路交通是智能交通系统的重要组成部分,其最大特点就是交叉口错综复杂,交叉口处的车流量之间相互影响,因此交叉口的通行状况将会直接决定道路的拥堵程度,道路交叉口已经
随着计算机应用范围的不断扩大和Internet的全球普及,在各种应用系统中积累了越来越多的数据,这就很容易造成了“数据爆炸”问题,它已经悄悄来到我们的身边,甚至更严重的“数
随着网络通信、计算机技术的快速发展,股市数据分析、天气预测、卫星监测、网络流量监控等多个领域都产生了数据流。由于数据流具有快速、连续与动态变化的特征,传统的数据挖
随着当今软件规模的日益发展,软件质量问题也日益突出,它可能造成软件成本不断增加、交付延期。软件产品质量的提高依赖于软件过程质量的提高,而软件过程缺陷度量能够保证软