论文部分内容阅读
由于多媒体技术的迅猛发展,市场上出现了多种不同帧率的视频源,不可避免地需要在上述视频源之间进行帧率的转换。帧率上变换就是将低帧率视频转换为较高帧率视频的一种技术。同时,随着人们对视频质量要求的不断提高,高清视频应用越来越普遍。因此,研究适用于高清视频的帧率上变换算法显得尤为重要。目前,帧率上变换算法的几个热门应用包括:消除液晶电视在显示运动画面时的抖动及运动模糊,恢复低比较率视频系统的原始帧率,慢运动回放,可分级编码等。目前,大多数的帧率上变换方法基于运动补偿技术,可以获得更加平滑流畅的观看效果。运动补偿中使用的运动矢量可以是编码端传输过来的,也可以在解码端重新进行运动估计获得。本文研究的是在解码端重新进行运动估计的帧率上变换算法,可以应用在高清视频系统中。本文的主要内容如下:1.运动估计主要包括单向运动估计和双向运动估计两种框架。在单向运动估计框架下,提出了前向后向相结合的运动估计算法。该方法将前向运动估计和后向运动估计相结合,提高了运动估计器的准确性。在此基础上,提出了一种帧率上变换算法——FBFRC (Frame Rate Conversion Based on Forward and Backward Motion Estimation)。2.在FBFRC中,提出了一种基于中值滤波的重定时方法。重定时方法用于生成待插值帧的运动矢量场。所提出的基于中值滤波的重定时方法有效避免了传统方法在插值时产生的“空洞”与“重叠”问题。3.在FBFRC中,提出了一种遮挡检测的方法。该方法通过分析相邻两物体所有可能的运动关系,得到被遮挡区域、显露区域和非遮挡区域对应的运动模型,从而对图像进行上述区域的划分。在运动补偿时,对被遮挡区域和显露区域进行单向插值,对非遮挡区域进行双向插值,可以有效解决不处理遮挡问题时插值图像中物体周围的光晕现象。4.在双向运动估计框架下,提出了两种运动估计方法:频域与空时域相结合的运动估计,以及一种双向运动估计方法。频域运动估计采用相位平面相关法,将该方法与空时域运动估计相结合,可以显著提高运动矢量的准确性。提出的双向运动估计方法通过自适应的运动矢量更新和运动矢量约束,有效地提高了运动矢量的准确性和一致性。在两种运动估计方法的基础上,分别提出了两种帧率上变换算法——FSTFRC (Frame Rate Conversion Based on Frequency and Spatio-Temporal Motion Estimation)和BLFRC (Frame Rate Conversion Based on Bilateral Motion Estimation)。5.在BLFRC中,提出了一种运动矢量场的平滑方法。利用当前块某个邻域内的局部全局运动进行平滑,该局部全局运动由运动矢量直方图得到。运动矢量平滑更正了运动估计生成的某些错误矢量,增强了运动矢量场的一致性,改善了插值图像的质量。6.针对帧率上变换算法在实际应用中遇到的以下三个问题分别给出了解决办法。(1)输入视频源为电影模式视频时,输入图像中包含一定数量的重复帧,经过帧率上变换后,重复帧数量更多,导致播放时出现抖动。提出的解决办法是:通过电影模式检测,剃除掉重复的图像,再进行帧率上变换。(2)当输入视频源中存在文本时,在文本区域估计出的运动矢量容易受周围非文本区域运动矢量的影响,从而造成估计错误,引起插值图像质量下降。针对此问题,提出了滚动字幕的处理方法以及静止文本的检测与处理方法,提高了文本区域运动估计的准确性,改善了含文本视频的插值图像质量。(3)当输入视频源发生场景切换时,基于运动补偿插帧的帧率上变换算法会产生严重失真的插值图像。针对此问题,提出了一种基于匹配误差的场景切换检测方法,当检测出场景切换时,使用帧重复或插入平滑帧等方法替代运动补偿进行帧插值,获得更好的视频观看效果。