论文部分内容阅读
本文以视频内容为出发点,根据视频内容对观测者的相对重要程度,将视频流表达成基于内容优先权的传输结构,提出了结合视频分析和流化传输技术、以视频内容为中心的普适的多媒体访问框架。在研究基于内容的视频分析、编码和流化传输技术基础上,对一些关键问题如:视频镜头的组织本文、场景检测及基于内容检索中的特征选择和相似距离定义、基于内容的细粒度可扩展编码码率分配及流化传输、内容增强的MPEG-4编码码率控制等作了深入研究,提出了一些创新的思想和方法。具体内容包括:
1、提出了两个场景检测(镜头聚类)算法:(1)最佳—优先概率模型的镜头合并算法,该算法将视频镜头看作隐性状态变量,将镜头之间的切换看作状态改变的转移概率,利用最佳—优先的概率合并模型对视频镜头进行聚类;(2)滑动窗口的场景检测算法,该算法考虑到同一场景中的视频镜头不仅具有很相似的视觉特征,而且在时间轴上相隔很近,提出了一种时间限制的镜头相似度度量方式,通过考查滑动窗口中镜头序列之间的这种相似度,来判断视频场景的边界。实验和分析表明了这些方法的可行性和有效性。
2、提出了基于NFL的视频镜头检索算法:该镜头检索算法克服了常规算法中将视频序列中关键帧看作是独立图片的缺点,认为连续的视频帧中存在着内容相似的关系,而特征线则代表了这种关系,并且极大地减少了数据处理量。根据视频的特点,又提出了改进的NFL和与关键帧提取相结合的视频镜头检索算法,并且用于实际的视频镜头检索中。实验结果显示基于NFL的镜头检索方法不仅可以有效地对视频镜头中关键帧进行抽取,而且可以提高镜头检索的准确率。
3、提出了基于内容的细粒度可扩展编码码率分配及流化传输控制策略。(1)提出了一种基于内容的FGS视频编码的码率分配方案,研究了视频内容与FGS可扩展编码中增强层率失真函数的关系,根据视频内容的重要性为视频单元分配合理的比特数。(2)提出了一个基于内容的视频流化码率控制策略,该策略首先对FGS码流建立分层的优先级传输模型,然后利用与视频内容相关的可伸缩的码率调节机制模型对视频进行裁剪。
4、提出了一种内容增强的MPEG-4编码码率控制算法,该算法的基本思想就是在不用对视频对象作精确分割的前提下,只需要对视频对象作大致分割,然后根据视频对象的重要性对视频对象有选择的进行增强。该算法以提高视频主观质量为目的,所以能够在有效的传输带宽下尽力保证用户接收视频的主观质量。
5、通过对基于内容的视频分析、编码及流化技术的研究,本文设计并实现了一个UMA系统的原型。该系统体现了以视频内容为中心的普适多媒体访问,由一个基于MPEG-7标准的视频分析平台TVFI和一个内容自适应的视频流化服务器CAVS组成。该系统能够提供视频节目的导入、视频结构化分析、底层特征提取、特征描述等视频分析功能,以及根据用户接入端设备能力、接入带宽以及个性化需求等因素,为用户提供视频内容自适应的、与用户接入端设备能力和网络带宽相匹配的视频流服务。