H.264/AVC介绍与产业发展现况之解析

来源 :电子与电脑 | 被引量 : 0次 | 上传用户:dingwenqi65118290
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  一. H.264/AVC发展史
  
  随着计算机硬设备成本下降以及普及化,渐渐地,多媒体应用的需求越来越大。加上近年来,3G以及Wireless network发展迅速,因此高效率以及高质量的影像压缩技术越来越受到大众的关注。有鉴于此,国际两大组织ITU-T以及ISO/IEC的MPEG从1993年起也制定了许多影像压缩标准。直到2001年时,MPEG与ITU-T合作成立一个新的单位Joint Video Team(JVT)。到了2003年,其间经过多次的JVT会议之后,终于在第二季提出了统一的标准H.264/AVC。这个标准在ITU-T叫做H.264,而在ISO/IEC则称为MPEG4-Part 10 AVC (Advanced Video Coding),这也是H.264/AVC这个名称的由来。整个流程如图 1所示。
  


  图1: 影像压缩标准时程表
  


  图2: 多参考影像示意图
  H.264/AVC除了在压缩率上有很显著的提升之外,在应用层面也比H.263 /MPEG4广泛许多,举凡视讯电话,视讯会议,监控系统,影像串流(video streaming),手机电视,数字电视以及IPTV等。尽管目前H.264/AVC有取代MPEG2成为下一个世代DVD播放机(HD-DVD,Blue-Ray DVD)影像标准的气势,但是目前仍然有微软VC-1以及中国大陆自行发展的AVS虎视眈眈,因此H.264/AVC仍然有相当大的挑战。接下来就针对H.264/AVC做一些技术上以及现今产业发展和未来挑战的介绍。
  
  二. H.264/AVC技术介绍
  
  H.264/AVC包含了相当多的可以改进压缩率以及更适合网络传输的新技术。可以达到上述想两项效果,主要是因为H.264/AVC提出了两层的设计:视讯编码层(Video Coding Layer,VCL),以及网络提取层(Network Abstraction Layer,NAL)。前者负责提高编码效率,而后者是负责提高在不同网络特性上传输的适应能力。以下我们就视频编码层以及网络提取层来做介绍。
  
  1. 高编码效率的设计
  多参考影像的动作补偿 (Multiple reference frame motion compensation)
  在H.264/AVC中,最多可以参考到前后多张的影像,这比起之前的标准(MPEG-1,MPEG-2,MPEG-4仅支持前后一张)宽松许多。如图 2所示。在这项改进当中,很明显的就是会看到位率(Bit Rate)的降低,尤其是在特殊的景色当中。比如说有些背景可能会被某个主体遮住而没有出现在前一张影像,这时候便可在前几张影像中找到这些背景可以提高动作估测(Motion Estimation)的效率减低位率,提高压缩率。
  可变尺寸区块的动作补偿 (Variable block size motion compensation)
  一般来说,我们为了提高压缩的效率,会以Macroblock (16 x 16) 当成一个编码的单位。可是每张影像都有不同的细致度,有些地方较为细腻,有些地方较为平滑。如果不看影像内容都采用16x16 为单位的编码方式,会降低压缩率。因此,在H.264/AVC中,除了使用16x16为编码单位之外,又提供了16x8,8x16,8x8,8x4,4x8,4x4 等6种区块大小。如图 3所示
  


  图3:可变区块种类
  Adaptive MB Frame Field Coding (MBAFF)
  就影像编码的特性来说,Frame coding适合用在空间关联性较强的影像而Field coding适合用在时间关联性较强的地方。所以在移动性较小的影像当中Frame coding比Field coding来的有效率,反之则否。在之前的影像标准中,可以选择一张影像为单位的Frame或Field coding。但是因为每个MB都会有不同的移动向量(Motion Vector),所以如果可以依照不同MB特性来做Frame/Field coding的调整,会获得更好的压缩效率。根据这个理论,H.264/AVC中提供了以MB为单位的Frame/Field coding。
  环路去区块效应滤波器 (In-loop deblocking filter)
  由于H.264/AVC和先前的标准一样都是采用区块基准(block-based)的编码方式,所以会有区块效应(blocking effect)的产生,因此需要去区块效应滤波器去除区块效应。H.264/AVC把去区块效应滤波器放在动作补偿的回路当中,这样既可以去除区块效应,也可以保护影像的细节,改善影像质量。因为需要把滤波后的影像储存起来做动作估测,所以这个滤波器是位在编码器的环路之内而非环路之外,故称为环路(In-Loop)去区块滤波器。
  


  图4: 空间预测4X4九种模式 [1]
  画面内空间预测(Intra prediction)
  同一张影像内的空间预测 (Intra prediction)因为一张影像内通常都有很高的空间相关性,所以在空间上做预测可以得到更好的压缩率。在H.264/AVC中提供两种区块大小的空间预测:4x4,16x16。其中4x4的有提供9种预测的方向,16x16的提出4种。如图 4所示,此为九种4X4空间预测模式。
  Context adaptive binary arithmetic coding (CABAC)
  这是一种算数编码(entropy coding)的方式。可以达到相当高的压缩率,尤其跟CAVLC来比,更可以提高将近15%~20%的压缩率。可以达到这样的效果,主要是因为下面3种原因:1. 针对每一个syntax element’s context 选择机率模型。2. 可以依据统计特性调整估测的机率。3. 利用arithmetic coding。
  Context adaptive variable length coding (CAVLC)
  这是一个相较于CABAC复杂度较低的编码方式。尽管效果没有CABAC来的好,但是和先前标准所采用的方法比起来,仍然有很大的增加。这些增加主要是因为CAVLC是针对4x4 区块的特性来设计的:1.量化后的区块,其DCT系数含有大量的0,所以再利用run-level coding之后,可以用很少的位数表示一连串的0。2. 经过zig-zag 扫描之后,在最高层的细数通常为+1/-1。CAVLC可以提供常出现的+1/-1信号很高的压缩率。3. 利用查表将非零系数编码。
  
  2. 提高网络适应能力的设计
  影像/序列参数集 (Picture/Sequence parameter set)
  由于序列或是影像性质的信息往往比编码内容来的更加重要。所以针对这个特性,H.264/AVC的影像/序列参数集可以独立出来,使之可以在稳定的环境下传输。而在解码端时,也可以判断这些重要的信息封包是否有完整收到,以便可以及时采取一些补救措施,如此一来也可以增强抵抗错误的能力。
  数据分割(Data partition , DP)
  因为每种信息重要性都不尽相同,所以H.264/AVC提供了一种可以依据重要性将资料包成不同的封包功能。例如可以将动作向量,DCT系数,以及区块信息分成3个不同的封包。如此一来,可以检测出失去的数据类型,以减少影像质量的伤害。
  Slice 编码模式
  Slice就是由许多MB所组成的,而一张影像是由许多Slice所组成的。而Slice可以独自解码不需要其它Slice的信息。因此,Slice也可以当作抗错的工具之一。图 5(a)(b)表示MPEG-2以及MPEG-4支持的Slice模式。在H.264/AVC中,还有另一个新的架构叫做Flexible Macroblock Ordering (FMO)。如图 5(c)所示。也就是说组成Slice的MB顺序不需要依照循序扫描(raster scan),还可以利用其它的顺序排法,例如:反循序扫描(reverse raster scan)。
  


  图5: Slice 的不同示意图
  Redundant slices (RS)
  这个功能主要是利用传输一个不同表示的影像数据,通常这个数据所表示的影像质量较差。当主要的资料因为环境而产生错误时,就可以利用RS来修补受伤害的影像。
  
  三. H.264/AVC产业发展现况与挑战
  
  在相同的影像质量之下,H.264/AVC所需频宽比起之前的标准节省40%~100%。直接地说,若把MPEG-2的频宽使用量当做100%,MPEG-4要达相同效能只需60%频宽,H.264更是低至40%,约为MPEG-2的1/2~1/3。目前H.264的发展大致上有3种应用平台:个人计算机,嵌入式系统以及IC。
  在个人计算机及嵌入式系统的发展上,国内外都有相当多的厂商投入研发。国外的如Main concept, Ateme以及Moonlight等都有相当不错的研发成果。国内的则有资策会网多所极力投入研发。在研发成果方面,目前国内资策会不论在H.264整体效能不论在个人计算机上以及嵌入式平台上都有相当不错的成果。
  


  图6: MPEG-LA 的授权金 [6]
  IC方面的发展,也是有很多厂商投入人力开发。比较著名的是Broadcom在2005年推出型号为BCM7411D可以支持MPEG-2/H.264/VC-1的解码芯片。
  H.264/AVC来势汹汹,不管在效率以及抗错能力的表现上面都有一定的水平,看起来似乎有接替MPEG2成为下一带影像压缩标准的气势。但是H.264/AVC想要成为下一代多媒体应用的使用标准仍然还有很多问题需要克服,下面我们为大家分析一下现阶段H.264/AVC所面临的挑战以及需要改进的地方。
  
  VC-1, MPEG4,AVS对H.264/AVC的威胁
  VC-1是由Society of Motion Picture and Television Engineers (SMPTE)所发布的视频压缩标准。VC-1提出了3种profile以及10种levels供不同需求的使用者挑选。
  AVS是由中国"数字影视编解码技术标准工作小组"所建立的标准。其全名叫做Audio Video Coding Standard。由这个名称可以得知,这个标准类似MPEG2/4除了Video之外还包括了Audio的标准。目前在有138个会员单位共同参与标准的制定,其中包含了国内外的电子大厂以及中国国内许多著名的大专院校,例如清华大学,北京大学等。
  一般业界在选择所用的标准时,不外乎就是讨论两个主要的因素:1.成本,2.效能。所以以下我们针对这两个议题来做讨论。
  1. 成本
  成本就是复杂度以及权利金。但是复杂度方面可以利用技术以及制程来让整个成本下降,而权利金的支出则是固定的,所以接下来我们会针对不同标准所需的权利金讨论。目前可以对H.264/AVC授权的有MPEG LA以及Via两个公司。如图 6所示。图 7则为Via授权公司对H.264技术的授权金。
  另外,目前H.264/AVC已经确定Baseline Profile免收权利金了,所以如果以H.264/AVC和MPEG4来比较的话, H.264/AVC在权利金方面的确是有较大的吸引力。但MPEG4虽然压缩效率比较差,但是其复杂度则相对来说低的多,所以如果MPEG4的权利金突然下降的话,仍然会对H.264/AVC的发展造成很大的威胁。
  


  图7: Via的授权金 [6]
  另外,自从VC-1以及AVS标准制定以后,因为进入市场较晚,纷纷以压低权利金的方式想要抢进市场并且获得各大厂的亲睐。VC-1推出编码压缩硬件仅需0.1美元的权利金,而在内容权利金方面更是免收。AVS也推出相当大的优惠,提出了只需要1元人民币(0.12美金)的权利金便可使用使用所有AVS的权利。但是因为VC-1和AVS目前都只有一个公司提供授权,所以就授权的弹性以及将来性来说,不确定性较大,这也是现在业界所考虑的因素之ㄧ。
  2. 效能
  目前以效能来看,通过复杂度的提高,H.264/AVC压缩率大约MPEG4的1.5倍,并且加入了容错机制,减少影像因为传输错误所造成的影响,因此有机会取代MPEG4在网络串流上有更广泛的应用。至于VC-1,就目前官方所提出的资料来看,其压缩率上面的表现并不输给H.264/AVC,而且在复杂度方面也较为简单。另外,目前AVS-P2(AVS高解析视讯标准)的表现来看,在压缩率方面大概是MPEG2的两倍,几乎与H.264/AVC不相上下,而其复杂度大约是H.264的70%。目前AVS-P2只有定义baseline profile。和H.264/AVC比起来最大的差异就是增加了B-Frame以及Interlace的功能。
  
  四. 结语
  
  多媒体影音压缩标准从1993年开始发展至今10多年,目前该领域还是依旧有多重互不兼容标准共存的现象,而且就目前的局势来看,未来这种情形还是会维持一段时间。第一代影音压缩标准MPEG-2由于建立时间长,技术成熟,可靠性高等优势,成为应用最广泛的标准。MPEG-2不仅被欧洲DVB-X,美国ATSC以及日本的ISDB等数字电视系统所采用,而且也是目前所有DVD市场的主流标准,因此近期以来想要撼动MPEG-2的地位相当不易。再加上现在业界仍有公司努力提高MPEG-2的压缩效率,成果也相当显著,所以MPEG-2在过去以及未来的一段时间都还是国际上最为通行的标准。
  由于上述的原因,第二代影音编码标准(MPEG-4,H.264/AVC,AVS)只有在新兴领域开发竞争。由于3G网络以及Wireless Network的普及,所以影音串流的需求量越来越大,这也开辟了第二代影音编码标准竞争的新战场。就目前业界的发展来看,最早起步的H.264/AVC有较大的机会赢得这场战役,而且以目前厂商的态度来看,H.264/AVC拿下影音压缩标准的霸主也只是时间早晚的问题。但是就如同我们之前所分析过的问题,H.264/AVC仍有许多的问题和挑战仍须克服,所以我们就拭目以待这场战役的结果吧。
  
  参考数据:
  1. Iain E G Richardson, “H.264 and MPEG-4 Video Compression, ” John Wiley, 2003
  2.http://www.broadcom.com/
  3.http://www.mobilygen.com/
  4.http://www.st.com/stonline/index.htm
  5.http://www.sigmadesigns.com/public/index.html
  6.http://www.streamcrest.com
其他文献
IDT公司推出高密度20M搜索加速器,可为企业、城域级和运营商级交换机和路由器提供支持大表的高性能、低功耗、具成本效益的报头处理解决方案。IDT推出的20M器件可提供前所未有每秒10亿次搜索的高性能,协助用户解决现有四重业务网络应用等复杂的网络挑战,增强安全性和存取控制能力,并可支持更广阔的地址空间,同时仍可为 IPv4 和 IPv6 流量保证高的可用带宽。  使用IDT公司5M或10M搜索加速器
期刊
ARM日前在美国加州旧金山举办的游戏开发者大会中,发表其最新推出的ARM Mali软件开发套件。该套件能够协助游戏开发业者,从一般应用开发快速移转至能立即使用在各种手机上的设计方案。手持式装设备造商都希望在其新产品推出的同时,各种相关的游戏软件配套措施也已准备就绪。而Mali SDK的推出,正使开发业者能够在取得硅组件之前,便着手进行游戏软件的开发与测试,以确保新游戏能与手机同步问市,并延长游戏的
期刊
基于市场需求, LG在日前率先发布了全球首款3000:1对比度的22英寸娱乐宽屏L226WTQ,将高对比度技术推向新的顶点。LG L226WTQ最让人垂涎的就是3000:1的超高对比度,成功超越了LG此前创下的2000:1的最高记录,给游戏玩家和影音爱好者带来了前所未有的高品质画质享受。据介绍,这一全球最高的3000:1对比度源于对LG独创的锐比(DFC)技术不断升级,并在保持白色亮度不变的前提下
期刊
模拟电路仿真与模拟集成电路设计一直是不可分割的。集成电路设计师理解和设计电路的方式已经深深地受到了 SPICE 仿真器的影响。模拟电路仿真器的成功采用已经使电路仿真扩展到了电路板级设计中。如果一个电路设计首先经过了仿真,那么工程师很容易向客户或老板提供可靠的电路 ── 第一次投产就正常工作的电路。  在今天的市场上有很多 SPICE 仿真器。很明显,这是一个成熟的市场,这个市场所采用的技术似乎几年
期刊
英国的WEEE法终于在1月5日正式生效,比欧盟原先预期的时间表晚了将近两年。DTI这次展现铁腕,决心依照时间表实施WEEE,不再延误。    WEEE实施的重要时程如下:    ● 2007年1月:WEEE法律正式公告与实施,针对电子废弃物回收处理厂的处理技术和营运执照进行审核  ● 2007年2月28日:公告合格回收体系名单  ● 2007年3月:生产者必须在3月15日前加入回收体系并向英国环保
期刊
Y-记数),供能谱分析、测量使用。而传统的多道系统一般采用NIM插件的标准模式。近几年来,国内外能谱仪器的发展出现了标准向VXI,CompactPCI变革及数字化便携化等多种趋势。USB(通用串行总线)是一种最近几年逐步在数据通信领域广为应用的新型总线技术,其通信协议规范目前已发展到2.0版本,其高速传输模式可达480mb/s。与其它串行总线相比,USB具有成本低、速度快、总线供电,支持热插拨和易
期刊
本篇文章是在讲宽频CMOS开关的文章  包括定义、与传统类比CMOS开关的比较、设计的技术应用,到应用的领域等等都包含在内。    问:什么是电容传感器?    答:当某物体或是某人接近或者碰触到传感器时,电容传感器会侦测到电容值的变化。此项技术已经在业界的应用领域上使用多年,它可以用来量测液体位准、湿度、以及物质成分。  一个将会受到广泛使用的较新应用领域,是使用在人机接口上。机械式的按钮、开关
期刊
一个成功的品牌,赋予商品生命力,拥有属于自己的特征,突显出与竞争产品区隔的创意与概念。品牌所塑造出的形象,随着时间的演进,往往成为一种不易撼动的社会地位象征,也培养出一批死忠的品牌精神拥护者。瑞典国宝Volvo,无论从1927年推出的第一辆汽车开始,到最新世代的S80也好,安全绝对是VOLVO一直以来所坚持。这一个信念不仅展现在汽车上,在落实于位在瑞典Gothenburg的Volvo大本营。   
期刊
ZiLOG近日推出公司得奖的eZ80Acclaim系列8位MCU的新成员:一款针对互联网和局域网应用,为了网络通信而设计的增强型MCU-- eZ80F91AZA50(LQFP)或eZ80F91NAA50(BGA)。这款eZ80Acclaim!系列中最新的成员增强了I/O口性能的寄存器、改进了针对低电源消耗的电源控制、升级了闪存功能以减少代码量,有助于加速产品上市时间。有LQFP和BGA两种封装类型
期刊
单片射频微波集成电路技术与设计    内容提要:  RFIC和MMIC技术为许多微波/毫米波通信、雷达、传感等系统提供了关键的核心元器件。最近几年来,这些技术得到快速发展和巨大进步,已经开发出工作频率超过200 GHz的电路、微机械加工的毫米波天线阵列和微机电系统,等等。同时,1~6 GHz频率范围的无线通信应用及市场的快速增长,已经戏剧性地将这一技术的重点转向高级硅技术。因此,现在已是推出这本全
期刊