传统的视频压缩编码标准MPEG—1／2和H.26x都采用基于帧的技术，不要求对场景进行分割，它们能获得较高的压缩比，并在很多领域得到广泛的应用。随着多媒体信息的日益丰富，人们不再满足于对视频信息的简单浏览，而要求提出基于对象的操作、交互等功能。为此，MPEG-4引入视频对象的概念，以支持基于对象的交互性和可分层性。视频对象的应用价值主要有：对不同的视频对象按其对视觉重要性分配不同的码率，可提高压缩编码效率；支持对象可分级，在较低的网络带宽时获得更好的视觉效果；用视频对象来组织视频内容，能实现基于视频内容的存储、交互和查询等功能。视频序列分解成VOP是一项相当困难的任务。生成VOP的难点是所感兴趣的对象往往难以用诸如彩色、亮度和光流等传统的图象分割特征来表达，所以经典的分割算法无法获得有语义的划分。这对于MPEG-4中的对象操作及MPEG-7中的对象检索都无实际意义，而且传统的视频分割方法都是对全帧的数据进行运算，没有很好的利用对象的运动信息。本文探讨了视频对象的提取和跟踪算法，提出了从视频队列中提取具有一定语义信息的VO的提取算法，并给出了如何对该VO进行跟踪的相关算法。提出了一种基于颜色特征点和梯度算子求轮廓边界的视频对象提取、跟踪算法。结合CANNY算子与HARRIS算子用于检测轮廓。为了更好的适用于运动跟踪，对于Canny算子和Harris算子做了大量改进并扩展到彩色空间，提出了极大值抑制算法，从而可以较好的在低阈值的条件下实现较好的边缘和特征点的提取效果，并且产生良性的跟踪需要的特征信息。跟踪算法通过对特征点的跟踪，结合轮廓信息实现了较好的跟踪效果。该算法对用户感兴趣的视频对象，自动地进行提取、跟踪，此算法具有运算量小，跟踪精确，对有完整语义的实体不产生过分割等优点。