论文部分内容阅读
帧率上变换(Frame Rate Up-Conversion,FRUC)作为一种重要的视频后处理技术,通过在相邻原始帧之间插入中间帧的方式将低帧率视频转换为较高帧率视频,从而提升视频的主观质量。目前,FRUC技术得到了广泛应用,包括:解决视频数据在各多媒体终端设备之间的帧率匹配问题;消除数字电视播放低帧率视频时的画面抖动及运动模糊现象,为观众提供更流畅的视觉体验;重建低码率视频传输系统中被丢弃的原始帧,避免了帧率不足造成的画面跳跃感。目前,基于运动补偿技术的FRUC方法成为主流,运动补偿中的运动矢量可以从码流信息中获得,也可以在解码端进行重估计得到。本文将基于运动重估计的FRUC算法与实现作为主要研究内容,以基于块匹配的运动补偿类方法为技术路线,对其中的真实运动估计、运动矢量场后处理、遮蔽区域运动补偿以及系统硬件架构实现等难点问题进行了深入分析并提出了有效的解决方案。本文的主要内容如下:在国家核高基科技重大专项课题的背景下,立足于低复杂度和低带宽需求,提出了一套可实现的帧率上变换硬件架构。通过并行化处理,提高了运动估计、运动矢量处理和运动补偿操作之间的数据重复利用率;设计了一种高效的片内存储方式,满足帧率上变换中多种尺寸像素块的随机读取要求,提高了计算的并行性,降低了处理时间;同时提出三级流水线设计,合理地安排各模块对像素缓存的访问需求,提高了系统的运行效率,减少了空转的时间。针对现有块匹配运动估计准确度不高的问题,本文提出了一种基于卡尔曼滤波的联合运动估计算法。该方法建立了运动矢量场的状态模型和观测模型,通过递归滤波的方式减少运动观测值与真实轨迹之间的误差噪声。在获取运动矢量场观测值的过程中,通过单向运动估计与双向运动矢量映射相结合的方式,避免了“空洞”和“重叠”问题的产生,提高了运动估计的准确度。针对初始运动矢量场中存在非可靠运动矢量的问题,本文通过对运动矢量进行多级后处理,不断提高其稠密度和准确性。与传统的算法相比,本文提出的算法对运动边缘的方向进行了分析,据此选择更合适的候选运动矢量进行细化;接着,通过考虑运动矢量的局部平滑特性、匹配误差及边界可能性等多个维度的信息,设计了一种鲁棒的三边滤波器,避免了传统算法中过度平滑及不可靠运动矢量传播的缺陷。针对遮蔽区域无法进行准确的运动补偿的问题,本文研究了遮蔽区域形成的原因,并根据遮蔽区域的像素及运动矢量场的特性,提出了一种遮蔽处理运动补偿算法。该方法能够完成对遮蔽区域的检测,并对其进行更鲁棒的运动补偿。为了更好地在硬件中实现上述算法,本文进一步对其进行了复杂度上的优化,在硬件实现复杂度与算法处理效果之间取得了更好的权衡;在此基础上,提出了新算法的硬件架构,为下一代帧率上变换IP核的实现奠定基础。本文对所提出的算法进行了大量的实验验证,实验结果表明,与现有的同类算法相比,利用本文算法得到的结果具有较高的主观和客观效果。本文同时对所提出的硬件架构及实现方案进行了充分的理论分析,已成功应用在国家核高基科技重大专项课题中,证明了所提方案的可行性及有效性。