论文部分内容阅读
摘要：3D电影制作成本高、制作周期长、片源缺少等问题俨然已成为制约3D电影产业发展的瓶颈。如何高效高质地将2D影视作品转制成3D影视，成为了解决该问题的突破口。浙江工商大学王勋教授主持的国家科技支撑计划课题“二维影视作品三维立体化系统与应用”，突破了一系列关键技术，通过对二维视频进行自动与交互相结合的方法恢复深度图，再对生成的虚拟视角图像对进行立体视频空洞补全，最后生成立体视频图像对。
关键词：2D/3D转换；深度恢复；视频补全
1. 引言
2016年初，3D电影《美人鱼》以33.9亿元的票房成为华语票房冠军。 自2009年3D影片《阿凡达》以来，3D电影技术不断成熟、观影效果不断改善，3D电影正以其独有的空间表现形式，为电影艺术的展现开拓了一个全新的维度，也促进了当下电影市场的空前繁荣。尽管整个3D影视产业蓬勃发展，但片源缺乏、制作成本较高、制作周期漫长仍是当前3D电影发展亟待解决的问题。
2. 2D电影转制3D电影前景广阔
《阿凡达》和《泰坦尼克号》3D版均出自著名导演詹姆斯·卡梅隆之手。这两部电影都为观众展现了近乎完美的3D效果。然而，它们在制作方法上却有着天壤之别。《阿凡达》的大部分镜头采用三维摄像机直接进行拍摄，而另一部则是在原有的二维影像基础上进行转制，对画面中的深度信息进行恢复，重建出3D影像。第一种方法制作成本较高，第二种方法成本相对低廉。如果能将普通2D电影转制成3D电影，则可降低3D电影的制作门槛，更能将一大批已有的经典影片制作成3D版本重新上映，丰富目前稀缺的3D片源。
然而，目前从2D影像中恢复深度信息的技术尚不成熟，制作影片需要大量的人工参与。国内从事电影三维立体化系统研发的公司，相比国外尚处于起步阶段，但国外的三维立体化技术同样也存在着自动化程度不高、需要大量人工交互、建模不够精细等问题，转换的3D效果无法和实拍的立体视频媲美。
3. 2D电影转制3D电影流程
由上分析可见，发展2D转制3D的技术是解决目前3D电影片源匮乏的有效途径。2D/3D转制需要3个关键步骤：首先，需要根据2D视频恢复出画面中每一帧的深度信息。然后，根据原视频帧（左视图）以及深度信息，模拟人眼形成立体感知的过程，生成原视频每帧所对应的右视图。最后，对生成的左视频中存在的空洞进行修复。
3.1 自动恢复深度信息
对于2D转制3D立体视频而言，从2D图像恢复画面中所蕴含的深度信息是最为基础的一个步骤，也是重中之重。而一个电影中涉及到的场景拍摄方式千差万别，例如摄像机移动拍摄静止的场景、静止的相机拍摄运动的物体、静止的相机拍摄静止的场景等[1]，没有一种深度恢复的方法能够完全适用于所有的情况。因此，应根据场景的不同情况来做有差别的深度恢复。
针对摄像机移动拍摄静止场景的情况，可以通过多视图立体几何算法获得每帧的深度图之后，将每帧的像素投影至其它帧，统计视频中的边界和分割区域信息[2]，并结合统计的边界和区域信息来创建能量函数，通过能量最小化来求解最优的视频分割[3]。
对于摄像机不移动或者场景中没有运动物体的情况，可以通过基于机器学习的交互式深度恢复技术，以解决多视图立体几何算法不适用场景的深度恢复。整个过程如图3-1所示。
3.2 交互式深度图生成
在经过前面步骤的自动恢复之后，可以大致恢复出影片的深度，与以往依靠人工对每一帧手工标注相比，极大地减少了制作工作量。
然而，电影对于画面的精细程度有着几近完美的严苛要求。完全自动化恢复出的影片深度信息还不能直接用于电影生产，需要由人工来进行一定的交互作业，提升深度信息的质量。
为此，我们开发了交互式深度恢复算法，对那些被错误割裂的连续物体，工作人员只需简单地添加一些连线，以示该处应该是连续的，如图3-2所示。交互式深度图修补算法将会加大这两个部分的相似度，并且通过相似度传递的方式传播到与该处存在有空间关系的区域，重新计算整幅图像的深度信息。这个过程可以反复进行以加强效果，直到最终深度结果满足电影的需求。
3.3 立体视频空洞补全
在恢复了视频帧深度信息后，需要将原视频帧作为左视图，以该视频和相应的深度图为基础，绘制生成右视图。生成的右视图由于视角改变，往往存在空洞，需要进行视频的空洞补全。
针对不同的空洞产生原因，由不同的空洞补全策略对空洞进行补全修复。至于由于估算的深度存在误差，导致前景和背景像素的相互渗透，则使用了一种深度图预处理方法来应对[4]。通过以上的空洞修补方法进行修补之后，如图3-3所示，就能够创建出完整的3D电影左右视图。
4 课题团队介绍
王勋教授团队在国家支撑计划课题“二维影视作品三维立体化系统与应用”（2014BAK14B01）的支持下，在解决2D电影立体化方面已经取得了一定成绩：目前系统已能直接投入影视作品的制作，对电影级的超高分辨率视频进行处理，并能对摄像机静止、纯旋转、自由移动、变化焦距等各种情况下拍摄的视频进行三维立体化，在进行电影级的3D视频转换时，对70%以上的镜头平均每帧处理时间不多于30分钟，在对毛发、烟雾、瀑布等半透明物体的立体化处理上也有了不错的进展，与企业合作已经完成了2部电影的2D/3D转制。
此外，团队还突破了基于融合理论的深度恢复机理与方法、高效与鲁棒的图像/视频分割技术、三维视频时空一致性等关键技术，在重要学术期刊和国际学术会议上发表了近10篇高水平论文，已在视频三维立体化相关技术领域取得两项软件著作权，申请国家发明专利12项。课题组中有1人获省部级人才资助，培养了博士研究生3人，硕士研究生8人。
该课题的成功完成，将极大缩短目前3D影视制作周期、提升3D影视作品品质、降低3D影视的制作成本，提升我国立体影视产业的总体发展水平。
参考文献
[1] 刘伟， 吴毅红， 胡占义. 电影2D/3D转换技术概述[J]. 计算机辅助设计与图形学学报， 2012， 24（1）：14-28.
[2] Jiang H， Zhang G， Wang H， et al. Spatio-Temporal Video Segmentation of Static Scenes and Its Applications[J]. IEEE Transactions on Multimedia， 2015， 17（1）：3-15.
[3] 姜翰青， 赵长飞， 章国锋等. 基于多视图深度采样的自然场景三维重建[J]. 计算机辅助设计与图形学学报， 2015（10）：1805-1815.
[4] 章国锋， 鲍虎军， 姜翰青等.一种针对复杂三维场景的高质量纹理映射方法：中国，CN 201410799686[P].2015-04-29.
关键词：2D/3D转换；深度恢复；视频补全
1. 引言
2016年初，3D电影《美人鱼》以33.9亿元的票房成为华语票房冠军。 自2009年3D影片《阿凡达》以来，3D电影技术不断成熟、观影效果不断改善，3D电影正以其独有的空间表现形式，为电影艺术的展现开拓了一个全新的维度，也促进了当下电影市场的空前繁荣。尽管整个3D影视产业蓬勃发展，但片源缺乏、制作成本较高、制作周期漫长仍是当前3D电影发展亟待解决的问题。
2. 2D电影转制3D电影前景广阔
《阿凡达》和《泰坦尼克号》3D版均出自著名导演詹姆斯·卡梅隆之手。这两部电影都为观众展现了近乎完美的3D效果。然而，它们在制作方法上却有着天壤之别。《阿凡达》的大部分镜头采用三维摄像机直接进行拍摄，而另一部则是在原有的二维影像基础上进行转制，对画面中的深度信息进行恢复，重建出3D影像。第一种方法制作成本较高，第二种方法成本相对低廉。如果能将普通2D电影转制成3D电影，则可降低3D电影的制作门槛，更能将一大批已有的经典影片制作成3D版本重新上映，丰富目前稀缺的3D片源。
然而，目前从2D影像中恢复深度信息的技术尚不成熟，制作影片需要大量的人工参与。国内从事电影三维立体化系统研发的公司，相比国外尚处于起步阶段，但国外的三维立体化技术同样也存在着自动化程度不高、需要大量人工交互、建模不够精细等问题，转换的3D效果无法和实拍的立体视频媲美。
3. 2D电影转制3D电影流程
由上分析可见，发展2D转制3D的技术是解决目前3D电影片源匮乏的有效途径。2D/3D转制需要3个关键步骤：首先，需要根据2D视频恢复出画面中每一帧的深度信息。然后，根据原视频帧（左视图）以及深度信息，模拟人眼形成立体感知的过程，生成原视频每帧所对应的右视图。最后，对生成的左视频中存在的空洞进行修复。
3.1 自动恢复深度信息
对于2D转制3D立体视频而言，从2D图像恢复画面中所蕴含的深度信息是最为基础的一个步骤，也是重中之重。而一个电影中涉及到的场景拍摄方式千差万别，例如摄像机移动拍摄静止的场景、静止的相机拍摄运动的物体、静止的相机拍摄静止的场景等[1]，没有一种深度恢复的方法能够完全适用于所有的情况。因此，应根据场景的不同情况来做有差别的深度恢复。
针对摄像机移动拍摄静止场景的情况，可以通过多视图立体几何算法获得每帧的深度图之后，将每帧的像素投影至其它帧，统计视频中的边界和分割区域信息[2]，并结合统计的边界和区域信息来创建能量函数，通过能量最小化来求解最优的视频分割[3]。
对于摄像机不移动或者场景中没有运动物体的情况，可以通过基于机器学习的交互式深度恢复技术，以解决多视图立体几何算法不适用场景的深度恢复。整个过程如图3-1所示。
3.2 交互式深度图生成
在经过前面步骤的自动恢复之后，可以大致恢复出影片的深度，与以往依靠人工对每一帧手工标注相比，极大地减少了制作工作量。
然而，电影对于画面的精细程度有着几近完美的严苛要求。完全自动化恢复出的影片深度信息还不能直接用于电影生产，需要由人工来进行一定的交互作业，提升深度信息的质量。
为此，我们开发了交互式深度恢复算法，对那些被错误割裂的连续物体，工作人员只需简单地添加一些连线，以示该处应该是连续的，如图3-2所示。交互式深度图修补算法将会加大这两个部分的相似度，并且通过相似度传递的方式传播到与该处存在有空间关系的区域，重新计算整幅图像的深度信息。这个过程可以反复进行以加强效果，直到最终深度结果满足电影的需求。
3.3 立体视频空洞补全
在恢复了视频帧深度信息后，需要将原视频帧作为左视图，以该视频和相应的深度图为基础，绘制生成右视图。生成的右视图由于视角改变，往往存在空洞，需要进行视频的空洞补全。
针对不同的空洞产生原因，由不同的空洞补全策略对空洞进行补全修复。至于由于估算的深度存在误差，导致前景和背景像素的相互渗透，则使用了一种深度图预处理方法来应对[4]。通过以上的空洞修补方法进行修补之后，如图3-3所示，就能够创建出完整的3D电影左右视图。
4 课题团队介绍
王勋教授团队在国家支撑计划课题“二维影视作品三维立体化系统与应用”（2014BAK14B01）的支持下，在解决2D电影立体化方面已经取得了一定成绩：目前系统已能直接投入影视作品的制作，对电影级的超高分辨率视频进行处理，并能对摄像机静止、纯旋转、自由移动、变化焦距等各种情况下拍摄的视频进行三维立体化，在进行电影级的3D视频转换时，对70%以上的镜头平均每帧处理时间不多于30分钟，在对毛发、烟雾、瀑布等半透明物体的立体化处理上也有了不错的进展，与企业合作已经完成了2部电影的2D/3D转制。
此外，团队还突破了基于融合理论的深度恢复机理与方法、高效与鲁棒的图像/视频分割技术、三维视频时空一致性等关键技术，在重要学术期刊和国际学术会议上发表了近10篇高水平论文，已在视频三维立体化相关技术领域取得两项软件著作权，申请国家发明专利12项。课题组中有1人获省部级人才资助，培养了博士研究生3人，硕士研究生8人。
该课题的成功完成，将极大缩短目前3D影视制作周期、提升3D影视作品品质、降低3D影视的制作成本，提升我国立体影视产业的总体发展水平。
参考文献
[1] 刘伟， 吴毅红， 胡占义. 电影2D/3D转换技术概述[J]. 计算机辅助设计与图形学学报， 2012， 24（1）：14-28.
[2] Jiang H， Zhang G， Wang H， et al. Spatio-Temporal Video Segmentation of Static Scenes and Its Applications[J]. IEEE Transactions on Multimedia， 2015， 17（1）：3-15.
[3] 姜翰青， 赵长飞， 章国锋等. 基于多视图深度采样的自然场景三维重建[J]. 计算机辅助设计与图形学学报， 2015（10）：1805-1815.
[4] 章国锋， 鲍虎军， 姜翰青等.一种针对复杂三维场景的高质量纹理映射方法：中国，CN 201410799686[P].2015-04-29.