论文部分内容阅读
该论文主要研究视频运动分析、视频分割和基于对象的编码,得到了国家自然科学基金项目(60072013)和南京邮电学院"图像处理与图像通信"江苏省重点实验室项目(K02091)的资助.主要内容包括局部运动分析中的光流运动估计、适用于视频对象分割的块匹配运动估计,全局运动分析中的摄像机全局运动参数估计与补偿、摄像机的运动模式识别,视频镜头分割,视频对象的时空联合分割以及基于视频对象的可伸缩性小波编码等.首先研究了运动分析,包括局部运动分析和全局运动分析.前者是通过对视频序列的计算估计出现频中不同物体的运动情况,而后者则是通过对视频序列的计算估计出摄像机的整体运动.在局部运动分析中,主要研究了光流运动估计和块匹配运动估计.通过对光流基本约束项和平滑约束项加以改进,提出一种自适应的光流估计算法,能够较精确地进行光流运动估计,减轻Horn方法中全局平滑约束对运动边界的影响,提高了运动估计的峰值信噪比.为减少计算量,在充分考虑视频对象分割特点的基础上,提出了一种分层块匹配的运动估计方法,有较快的估计速度和较高的峰值信噪比,分割效果良好,可以用于实时的视频对象分割系统中.在全局运动分析中,对摄像机的全局运动做了定量和定性的分析.定量分析是指对摄像机全局运动参数的估计与补偿,定性分析是指对摄像机各种全局运动模式的识别.论文研究了各种全局运动模型和参数估计方法并介绍了它们在视频对象分割、视频镜头分割中的应用.针对目前视频内容分析、视频镜头分割算法中极少有考虑到视频抖动(摄像机抖动)的,提出了一种视频抖动的检测算法,能比较准确地检测出抖动的视频镜头.在考虑到视频抖动的情况下提出了一种视频镜头的分割算法.在基于数学形态学的视频对象时空联合分割方法中,引入了一种新的分水岭空间分割算法,通过对数据结构的改进,使算法具有较快的执行速度;通过对输入梯度图像的改进,使空间分割效果良好.论文使用不同的运动估计方法来完成时间分割,如光流运动估计和适用于视频对象分割的块匹配运动估计等,然后提出了几种区域合并算法以得到具有语义的视频对象,如利用仿射模型来描述每个分割小块,并利用其6个仿射参数所组成的向量范数来进行基于运动的区域合并.基于数学形态学的视频对象分割方法速度快,自动化程度较高,分割效果也比较理想.在基于聚类分析的视频对象时空联合分割方法中,首先提出了一种基于改进的多特征模糊聚类分割算法.它把灰度、运动、位置、帧差、纹理等多个特征分量组成一个多维的特征向量空间作为模糊聚类的输入,并动态地调整多个特征分量的权值.同时通过对距离量度和聚类损失函数的修改,大大提高了视频对象分割结果的空间相关性.然后把视频序列中连续7帧图像作为一组,对每组中间那一帧进行初始分割,而对组内其他帧则采用时域跟踪方法进行分割.初始分割采用改进的多特征模糊聚类;时域跟踪是利用上一帧的分割结果通过运动估计向下一帧投影,作为下一帧的初始分割来完成的.这种视频对象分割算法的时间和空间相关性都比较强.最后研究了基于对象的编码,提出一种基于对象的可伸缩小波编码器:首先对任意形状的对象而不是整帧图像做适形小波变换,这样较大地提高了编码效率;然后用适形预测零树来同时编码变换后的形状信息和纹理信息.HPEG-4标准是先进行形状编码,再进行纹理编码,这样在解码端应必须完全收到形状码流后才能进行纹理解码,不符合编码的可伸缩性要求.该论文提出的编码器是同时进行形状和纹理的编码,解码端不必等收到全部形状码流就能解码,从而保证了编码的可伸缩性.同时该编码器能够精确地恢复形状信息,具有较高的编码效率.