论文部分内容阅读
一、引言
随着多媒体技术的迅猛发展,三维视频已经成为一个非常重要的应用领域。与传统的二维视频相比,三维视频可以提供给用户更加真实的立体视觉体验。当用户在欣赏三维(3D)视频时,用户可以体验到三维深度的视觉效果,增强了视觉的现实感和逼真感。然而三维视频信号数字化后的数据量非常庞大,需要对三维视频数据进行压缩编码,因此研究三维视频的编码标准具有重要的理论价值和广泛的应用价值。近年来,国际标准化组织ISO制定的MPEG系列获得了广泛的应用,本文主要对MPEG中的三维视频国际标准的发展历程和最新进展进行跟踪和探讨,最后对三维视频标准的技术发展方向进行了科学的展望和推断。
二、三维视频标准发展
MPEG早在2001年就充分认识到3D音频和3D视频(3D Audio and Video,3DAV)的重要性及其广阔的应用前景,于2001年12月第58次MPEG会议上成立3DAV特别小组(3DAudio VisualAd hoc Group) [1]。早期3DAV特别小组的主要工作是3DAV的需求分析,具体包括对3DAV典型应用场景的定义、可供研究的标准化内容以及与现有MPEG标准相重叠部分的研究。3DAV特别小组定义了3DAV的典型应用场景,主要包括全景视频、交互式立体视频、任意视点视频和3D音频。针对上述应用,3DAV特别小组定义了一个共同的3DAV系统构架,调查每种应用的具体应用场景和现有产品。3DAV特别小组集中定义了四个探索实验(Exploration Experiment,EE)[3],对这些应用场景分别进行深入讨论。这四个EE分别为EE1:全景视频,EE2:任意视点视频,EE3:立体视频编码技术,EE4:3DTV的深度/视差编码和视图合成技术[2]。
2003年7月在第65次会议中,3DAV特别小组发布了两个重要文档,《关于3DAV的需求和应用场景说明》和《3DAV工作报告》。这两个文档对3DAV特别小组从58次会议成立至65次会议期间所做工作进行了系统的总结。
2004年3月第68次MPEG會议上3DAV特别小组对多视点视频编码技术发布征求验证文档CFE,邀请其它感兴趣的组织针对3DAV做出回应和评论。
2005年1月在香港召开的第71次MPEG会议对CFE的回应文档进行了评估。本次会议共收到七项对CFE的回应技术提案,分别来自日本NTT、日本KDDI、日本富士通等。MPEG会议的输出文档W6909[3]和W6999[4]分别给出了各个提案的客观比较结果和主观比较结果。比较结果表明MVC的编码效率远好于基准编码方案,进一步验证了MVC标准化的必要性和可行性。在充分肯定MVC标准化工作的可行性后,3DAV特别小组决定发布征求提案稿CFP[5] ,标志着MVC标准化进程正式开始。2006年7月的第77次MPEG会议上,MVC的标准化工作正式移交给JVT,这标志着MVC的标准化工作进入实质性阶段。2009年3月,多视点视频编码(Multiview Video Coding,MVC)作为H.264/AVC的Amendment IV正式发布。
2007年4月第80次MPEG会议上,成立FTV特别小组。开始了FTV的标准化研究进程。
2007年10月召开的第82次MPEG会议上,FTV特别小组发布了征求序列文档,从此次MPEG会议开始,陆续出现许多关于深度估计以及视图合成的技术提案。
2008年1月召开的第83次MPEG会议上,给出了关于FTV的两个EE,分别关于深度估计以及视图合成。
2008年4月召开的第84次MPEG会议上,将FTV特别小组更名为3D视频以及FTV编码特别小组。
2008年7月召开的第85次MPEG会议上,来自Philips公司的研究人员提出了采用Layered Depth Video(LDV)的方法来合成虚拟视图。大会一致肯定了该技术,并将LDV作为FTV的第三个EE以进一步研究。
2008年10月召开的第86次MPEG会议上,大会认为一些序列的合成视图的质量已经可以接受,因此展开了关于这些序列的编码实验,以观察深度图编码对于合成的虚拟视图的影响。
2009年2月召开的第87次MPEG会议上,由于估计得到的深度图无法达到进一步要求,再一次发布了征求关于深度图以及附加信息的3D测试序列的文档,其中附加信息包括一些背景数据、遮挡信息、透明度信息等。
2009年4月召开的第88次MPEG会议中,决定开展FTV研究的第二阶段,制订了两个EE,其中EE1关于改进的深度估计方法,EE4关于编码实验。
2009年7月召开的第89次MPEG会议中,MPEG Video小组以及Requirements小组共同发布了关于3D视频编码的应用和要求文档,文档中指出MVC是FTV研究的第一阶段,而3DV是FTV研究的第二阶段;同时给出了3DV格式的目标描述图。由此展开了FTV研究的新阶段。
三、三维视频标准的最新进展
到2010年4月第92次MPEG会议(Dresden)为止,2-view输入情况下:Poznan_Hall1 和 Poznan_Hall2 需要重大提升,Caf€?和 Book_arrival 进一步改进。3-view输入情况:Poznan_Hall1和Poznan_Hall2 需要重大提升,Caf€? Lovebird, Book_arrival和Poznan_CarPark进一步改进。
2010年7月Geneva会议3DV EE1发布了CfP最新草稿(W11476),按照计划2011年1月发布CfP最终文稿。本次会议主要评估了Depth Map技术测试报告,并进行了主观测试,大部分都处于可接受状态,Lovebird1,Poznan_Hall1,Poznan_Hall2需要进一步提高,Newspaper,Poznan_Street,Poznan_Carpark在下次会议之前要完成10s的序列测试。
四、三维视频标准预测和展望
三维视频具有广阔的应用前景,可以广泛的应用于立体电影、视频会议系等很多领域。可以预见在不远的将来,三维视频将会代替二维视频成为视频应用中的主流。MPEG 3DV是目前多媒体技术的热点研究领域,在技术上很多具有挑战性的课题。深度图像估计和视频合成技术是目前MPEG 3DV的重点研究方向,直接决定了立体感的好坏。另外摄像机参数的编码,多视点纹理图像编码,深度图像编码,纹理和深度图像联合编码是后续MPEG 3DV标准的主要内容。虽然3DV编码目前主要基于MVC技术,但是下一代视频编码技术HEVC也正在进行当中,后续3DV编码参考HEVC技术的可能性也很大,因此对于下一代视频编码技术的研究也是一个重要研究方向。
参考文献:
[1]MPEG Convener Subgroup.AHG on 3D video coding in MPEG.65th MPEGmeeting,W4524,December,2001.
[2]MPEG Video.Description of Exploration Experiments in 3DAV. 66th MPEG meeting,W5959, October,2003.
[3]MPEG Video subgroup.Survey of Algorithms used for Multi-view Video Coding(MVC).71th MPEG meeting,W6909,January,2005.
[4]MPEG Test and Video subgroup.Report of the Subjective Quality Evaluation for Multi View Coding CfE.71th MPEG meeting,W6999,January,2005.
[5]MPEG Video subgroup,Draft Call for Proposals on Multi-View Video Coding.72th MPEG meeting,W6910,January,2005.
随着多媒体技术的迅猛发展,三维视频已经成为一个非常重要的应用领域。与传统的二维视频相比,三维视频可以提供给用户更加真实的立体视觉体验。当用户在欣赏三维(3D)视频时,用户可以体验到三维深度的视觉效果,增强了视觉的现实感和逼真感。然而三维视频信号数字化后的数据量非常庞大,需要对三维视频数据进行压缩编码,因此研究三维视频的编码标准具有重要的理论价值和广泛的应用价值。近年来,国际标准化组织ISO制定的MPEG系列获得了广泛的应用,本文主要对MPEG中的三维视频国际标准的发展历程和最新进展进行跟踪和探讨,最后对三维视频标准的技术发展方向进行了科学的展望和推断。
二、三维视频标准发展
MPEG早在2001年就充分认识到3D音频和3D视频(3D Audio and Video,3DAV)的重要性及其广阔的应用前景,于2001年12月第58次MPEG会议上成立3DAV特别小组(3DAudio VisualAd hoc Group) [1]。早期3DAV特别小组的主要工作是3DAV的需求分析,具体包括对3DAV典型应用场景的定义、可供研究的标准化内容以及与现有MPEG标准相重叠部分的研究。3DAV特别小组定义了3DAV的典型应用场景,主要包括全景视频、交互式立体视频、任意视点视频和3D音频。针对上述应用,3DAV特别小组定义了一个共同的3DAV系统构架,调查每种应用的具体应用场景和现有产品。3DAV特别小组集中定义了四个探索实验(Exploration Experiment,EE)[3],对这些应用场景分别进行深入讨论。这四个EE分别为EE1:全景视频,EE2:任意视点视频,EE3:立体视频编码技术,EE4:3DTV的深度/视差编码和视图合成技术[2]。
2003年7月在第65次会议中,3DAV特别小组发布了两个重要文档,《关于3DAV的需求和应用场景说明》和《3DAV工作报告》。这两个文档对3DAV特别小组从58次会议成立至65次会议期间所做工作进行了系统的总结。
2004年3月第68次MPEG會议上3DAV特别小组对多视点视频编码技术发布征求验证文档CFE,邀请其它感兴趣的组织针对3DAV做出回应和评论。
2005年1月在香港召开的第71次MPEG会议对CFE的回应文档进行了评估。本次会议共收到七项对CFE的回应技术提案,分别来自日本NTT、日本KDDI、日本富士通等。MPEG会议的输出文档W6909[3]和W6999[4]分别给出了各个提案的客观比较结果和主观比较结果。比较结果表明MVC的编码效率远好于基准编码方案,进一步验证了MVC标准化的必要性和可行性。在充分肯定MVC标准化工作的可行性后,3DAV特别小组决定发布征求提案稿CFP[5] ,标志着MVC标准化进程正式开始。2006年7月的第77次MPEG会议上,MVC的标准化工作正式移交给JVT,这标志着MVC的标准化工作进入实质性阶段。2009年3月,多视点视频编码(Multiview Video Coding,MVC)作为H.264/AVC的Amendment IV正式发布。
2007年4月第80次MPEG会议上,成立FTV特别小组。开始了FTV的标准化研究进程。
2007年10月召开的第82次MPEG会议上,FTV特别小组发布了征求序列文档,从此次MPEG会议开始,陆续出现许多关于深度估计以及视图合成的技术提案。
2008年1月召开的第83次MPEG会议上,给出了关于FTV的两个EE,分别关于深度估计以及视图合成。
2008年4月召开的第84次MPEG会议上,将FTV特别小组更名为3D视频以及FTV编码特别小组。
2008年7月召开的第85次MPEG会议上,来自Philips公司的研究人员提出了采用Layered Depth Video(LDV)的方法来合成虚拟视图。大会一致肯定了该技术,并将LDV作为FTV的第三个EE以进一步研究。
2008年10月召开的第86次MPEG会议上,大会认为一些序列的合成视图的质量已经可以接受,因此展开了关于这些序列的编码实验,以观察深度图编码对于合成的虚拟视图的影响。
2009年2月召开的第87次MPEG会议上,由于估计得到的深度图无法达到进一步要求,再一次发布了征求关于深度图以及附加信息的3D测试序列的文档,其中附加信息包括一些背景数据、遮挡信息、透明度信息等。
2009年4月召开的第88次MPEG会议中,决定开展FTV研究的第二阶段,制订了两个EE,其中EE1关于改进的深度估计方法,EE4关于编码实验。
2009年7月召开的第89次MPEG会议中,MPEG Video小组以及Requirements小组共同发布了关于3D视频编码的应用和要求文档,文档中指出MVC是FTV研究的第一阶段,而3DV是FTV研究的第二阶段;同时给出了3DV格式的目标描述图。由此展开了FTV研究的新阶段。
三、三维视频标准的最新进展
到2010年4月第92次MPEG会议(Dresden)为止,2-view输入情况下:Poznan_Hall1 和 Poznan_Hall2 需要重大提升,Caf€?和 Book_arrival 进一步改进。3-view输入情况:Poznan_Hall1和Poznan_Hall2 需要重大提升,Caf€? Lovebird, Book_arrival和Poznan_CarPark进一步改进。
2010年7月Geneva会议3DV EE1发布了CfP最新草稿(W11476),按照计划2011年1月发布CfP最终文稿。本次会议主要评估了Depth Map技术测试报告,并进行了主观测试,大部分都处于可接受状态,Lovebird1,Poznan_Hall1,Poznan_Hall2需要进一步提高,Newspaper,Poznan_Street,Poznan_Carpark在下次会议之前要完成10s的序列测试。
四、三维视频标准预测和展望
三维视频具有广阔的应用前景,可以广泛的应用于立体电影、视频会议系等很多领域。可以预见在不远的将来,三维视频将会代替二维视频成为视频应用中的主流。MPEG 3DV是目前多媒体技术的热点研究领域,在技术上很多具有挑战性的课题。深度图像估计和视频合成技术是目前MPEG 3DV的重点研究方向,直接决定了立体感的好坏。另外摄像机参数的编码,多视点纹理图像编码,深度图像编码,纹理和深度图像联合编码是后续MPEG 3DV标准的主要内容。虽然3DV编码目前主要基于MVC技术,但是下一代视频编码技术HEVC也正在进行当中,后续3DV编码参考HEVC技术的可能性也很大,因此对于下一代视频编码技术的研究也是一个重要研究方向。
参考文献:
[1]MPEG Convener Subgroup.AHG on 3D video coding in MPEG.65th MPEGmeeting,W4524,December,2001.
[2]MPEG Video.Description of Exploration Experiments in 3DAV. 66th MPEG meeting,W5959, October,2003.
[3]MPEG Video subgroup.Survey of Algorithms used for Multi-view Video Coding(MVC).71th MPEG meeting,W6909,January,2005.
[4]MPEG Test and Video subgroup.Report of the Subjective Quality Evaluation for Multi View Coding CfE.71th MPEG meeting,W6999,January,2005.
[5]MPEG Video subgroup,Draft Call for Proposals on Multi-View Video Coding.72th MPEG meeting,W6910,January,2005.