论文部分内容阅读
随着电子技术、通信技术和计算机技术的飞速发展,视频传输已得到越来越广泛的应用,如公用电话网上的可视电话,移动通信网上的视频通信,Intemet上的视频流传输等。这些网络或者是误码易发的通信环境,或者是无服务质量(QoS,QualityofService)保证的通信环境。在这些网络中,由于实时通信的要求,或由于信道的带宽有限,或由于信道特性的不同,往往前向纠错编码(FEC,ForwardErrorCorrection)的能力有限,更难以采用自动请求重传(ARQ,AutomaticRepeatRequest)的方式来改善传输质量。尽管近来有关提高视频传输OoS的方法较多,而且,其中也有不少确实能够显著地克服误码(丢包)影响,提高图像质量的措施,但是这些措施并不能保证完全地纠正传输差错,因而接收端必然会或多或少地收到一定量的误码或引起数据包(Packets)的丢失,从而使解码图像质量下降或严重下降,甚至不能成像。在这种情况下,要纠正这些误码已是不可能的了。因此,只有采用差错掩盖的方法,尽量降低误码对重建图像质量的影响,为观察者提供一定主观质量保证的视频图像。这就是一种基于解码端的误码处理方法:即差错掩盖的方法。这种方法不增加编码器的复杂度,不增加编码码流的冗余度,因此不增加通信的传输负担;这种方法是属于视频信息的后处理方法,原则上对任何图像编解码格式和标准都适用,因此其应用范围很广。
本论文重点研究解码后有差错视频的掩盖技术,在研究了模糊数学的处理方法和前人对视频差错掩盖研究成果的基础上,提出了三种基于模糊数学和其它算法相结合的视频差错掩盖方法。论文的主要研究内容与创新成果如下:
L回顾了前人过去在视频差错掩盖方面所做的工作,阐述了视频差错掩盖所应满足的约束条件,总结了他们在研究方法上的不足,探讨了提高差错掩盖算法性能的途径。
2.提出了一种基于模糊聚类和网格变形相结合的视频差错掩盖算法,并给出了实验结果。该算法是在时空域进行的,它首先利用帧内相邻块的平滑约束条件和帧间相邻块的统计信息进行模糊最佳块匹配,这种方法在平移运动的场景能取得比传统的块匹配方法更好的效果,在有旋转、变形和缩放等运动的区域,用网格变形的方法对第一步得到的模糊聚类匹配块进行改进。由于基于网格变形的方法使得算法时间复杂度提高,所以检测差错块所在的区域中有无复杂运动:如果只有平移运动,就只采用基于模糊聚类的块匹配方法;如果有复杂运动,则分两步进行差错掩盖,这样能既能降低算法的时间复杂度,又能取得较好的效果。经过实验测试,从视频主观质量和客观质量来看,不论是在细节丰富和运动复杂的场景,还是在细节较少和运动简单的场景,该算法的性能比文献[72]、[73]、[74]中的算法性能都有明显的提高。
3.为了降低基于模糊聚类和网格变形相结合的差错掩盖算法的时间复杂度,本论文提出了一种基于模糊c均值聚类的自适应差错掩盖算法,并给出了实验结果,它是一种在时间域、空间域和频率域相结合的算法。它根据视频图像不同的特征在不同的域进行掩盖,如图5.卜l所示。在最复杂的情况下,由6步组成,其中第4步为基于模糊c均值聚类的掩盖算法,这个算法主要分两步:首先对低频掩盖后的16×16块及周围可得到的相邻块进行模糊聚类,然后用同一类块的高频系数插值出差错块的高频系数。该掩盖算法的性能仍然比文献[72]、[73]和[74]中的算法性能高,其掩盖质量比基于模糊聚类和网格变形相结合的差错掩盖算法略低,但其时间复杂度明显降低。
4.为了得到更好的掩盖效果,探讨了一种基于模糊聚类和模糊神经网络的差错掩盖算法,该算法是将人工智能应用于视频差错掩盖的一种尝试。它主要由两步构成:首先在当前帧中,利用模糊聚类的方法找到差错块的相似块,主要利用的是解码帧的空间冗余信息;然后在对应的前一帧中建立和训练模糊神经网络模型,主要利用的是解码帧的时间冗余信息;最后利用该模型在本帧中推导出差错块的像素值。从其原理来说,它综合运用了时间和空间的信息对差错块进行掩盖,并且是以像素点为基本的处理单位,其掩盖的精度比较好,提高了掩盖图像的质量。
5.对前面提出的三种视频差错掩盖方法进行了比较和总结,分别指出了其优点和不足之处。