多层视频编码结构是指将视频编码为多个视频层,然后利用层间预测消除不同层之间相关性的编码结构。在传统的多层编码结构中,基本层和增强层之间的视频图像是一一对应的,主要应用在可分层视频编码的空间可分层和质量可分层中。而本文提出了一种新型的多层编码结构,基本层由从视频中抽取的少量具有通用信息的图像组成,而增强层是完整的视频序列。这样的编码结构可以使得总的编码效率高于单独编码增强层的效率。换句话说,新型的多层编码结构可以用于更高效的视频编码。本文研究了基于传统多层结构的可分层视频编码和基于新型多层结构的更高效视频编码,并取得了以下创新:1、提出基于知识库的新型多层编码结构在传统的多层编码结构中,基本层图像和增强层图像一一对应。而新型的多层编码结构从对视频内容的分析出发,提取出少量的代表图像构成基本层,再通过层间预测使得总的编码效率高于单独编码增强层的效率。由于基本层的图像在编解码中需要长时间的存储供增强层参考,本文提出了基于知识库的视频编码框架,在该框架下解决了下面两个主要的技术问题:第一、研究了知识库基本层的构造问题并提出了两种构造方法。第一种,提取视频各场景的场景切换图像和随机访问图像作为关键图像,通过聚类的方法剔除关键图像中属于重复场景的图像,从而导出知识库图像,该方法在保证基本层的编码码率尽量小的情况下和待编码视频有尽量大的相关性,有利于促进视频编码的效率。第二种,对各场景的场景切换图像基于SIFT进行重复场景检测和剔除,形成基本层。然后在每个场景内部根据累积的内容变化再补充选择新的知识库图像。该方法可以和视频编码同步进行,适用于实时编码应用。第二、提出了使用知识库图像的编码方法。为了提高视频编码的效率并保证随机访问的功能,知识库图像按照全帧内的模式进行编码,知识库在随机访问点不会清空。在编解码过程中,以随机访问片段为单位参考最相似的知识库图像进行编码。最相似的知识库图像以颜色直方图差为相似度准则查找,简单高效且能保证知识库图像的预测效率。2、传统多层编码结构下的编码方法研究本文研究了传统多层编码结构下的层间预测技术,主要包括层间帧内模式预测和层间运动信息预测,使得层间的帧内模式和运动信息相关性能够得到充分的利用,从而提高增强层的编码效率和降低增强层的编码复杂度。