论文部分内容阅读
如果不是科班出身，谈起计算机图形学（Computer Graphics），恐怕你会觉得它很陌生。简单地说，计算机图形学的主要研究内容就是研究如何在计算机中表示三维世界，以及利用计算机进行三维世界的模拟、编辑和显示的相关原理与算法。你可能不知道，这一听起来和我们生活相去甚远的学科早已渗透和广泛应用到了我们的日常生活和娱乐中，给生活带来了精彩的改变。2014年12月4日，计算机图形学的顶级会议“SIGGRAPH Asia 2014计算机图形和互动技术会议展览”首次来到中国。微软亚洲研究院的多个研究小组全程参与了在深圳会展中心举行的这次盛会，并在会上发布了多个研究成果。这当中既有三维头发运动捕捉技术，也有让网络商品展示更加真实的外观建模技术，更有告别夜景自拍时烦人噪点的图像处理技术。这些技术是怎么实现的？还会在哪些领域应用？让我们带着问题来来进一步了解这些神奇的技术。
头发动态的运动捕捉和三维重建
——微软亚洲研究院网络图形组
即便是成年人，心中仍然会保留一片童心，对动画片的热爱就是最好的证明。在风靡全球的动画片《冰雪奇缘》中，主人公艾莎一头柔顺美丽、近乎真实的金色长发为角色增添了不少魅力，给观影者留下了深刻的印象。不过据制作方透露，他们为制作艾莎的头发动画其实是大费了一番周折，甚至专门研发了一套程序用以生成艾莎多达40万根3D发丝的头发。的确，在计算机图形学领域，如何让电影中的虚拟人物拥有如现实生活中一般逼真的动态头发一直是研究人员面临的一个棘手问题。不过，经过长期的不懈努力，微软亚洲研究院网络图形组的研究员们正一步步解开这个难题。
来自微软亚洲研究院的这项技术简而言之就是通过从不同角度拍摄头发在真实场景中的运动视频，在计算机中重建发丝级别的动态三维头发模型。这项技术可借由相机对头发进行不同角度的拍摄，再通过计算机进行三维重建。不过这项技术说起来简单，操作起来却没那么容易。虽然摄像机会尽可能全面的对发型进行拍摄，但是一个完整的发型大约有10万根头发。运动中，虽然头发的整体运动具有一定的一致性，但由于发丝间的碰撞摩擦，每根发丝的运动非常复杂，遮挡变化大，摄像机并不能完全捕捉。这些也就成为三维重建和运动捕捉最困难的地方。这项技术的亮点在于利用头发运动的特点，在每根水平的扫描线上抽取整根发丝在每帧中的对应关系，再结合不同拍摄角度的视频，通过综合优化不同发丝空间位置关系和时间上运动序列，使得对头发三维运动的捕捉和重建更准确，更稳定。
虽然目前该技术只能通过采集视频素材来进行三维重建，不过研究员表示作为这个方向的第一步，这一方便可靠的数据采集方案使得采集大量的可重用模型成为可能。当模型积累到一定数量后可以形成数据库，通过机器学习的方法，我们可以更好的理解头发运动的特征，从而可以大大简化头发动态的捕捉，方便头发运动的编辑。用户在未来使用中不用经过长时间的采集，只要简单输入特征和数据库内的模型匹配，微调细节后即可使用。这项技术未来不仅会应用在动画中，我们日常游戏人物形象的设定以及结合目前已有的人像采集技术都能使自己的虚拟形象更加真实。在计算量进一步减少的情况下，最终可能应用在移动设备上。
通过在自然光下的旋转视频实现物体外观高精度重建
——微软亚洲研究院网络图形组
在线购物的一个难题是如何将商品尽可能逼真的展现给大家。由于相机和拍摄环境光照的差异，同一物体往往呈现出不同的外观。网上展示的照片和视频跟真实物体外观的差异，常常让方便的网上购物经历增添不少烦恼。在计算机图形学里，我们用物体的反射属性来描述物体的外观。有了高精度的物体反射属性，我们就可以通过计算重现物体在不同光照环境下栩栩如生的外观了。
不过，捕捉真实世界物体的反射属性可并不是一个容易的任务。现有的解决方案往往需要特定的实验室环境，通过在严格的控制光照和特定拍照角度的一系列照片来完成这一任务。虽然结果质量好，但是设备昂贵，搭建费时。微软亚洲研究院研发的这项技术，首次通过一个真实物体在未知自然光照下旋转的视频，让计算机自动计算出物体的反射属性，进而可以在任意光照下重建出该物体的真实外观。
这项技术最大的挑战是如何同时估计物体拍摄时的环境的光照和物体的反射属性。为此，研究员们利用物体反射属性和环境光照的不同特点，提出了一个优化算法，可以精确的从视频中恢复物体的反射属性。
这项技术未来不仅可以帮助消费者观看物品在自己所处的光照环境下的真实外观，还可以帮助用户了解衣物饰品在不同环境下的穿着打扮效果，极大地提升用户的网上购物体验。
用连拍的方式对夜景照片进行优化
——微软亚洲研究院视觉计算组
如今，手机拍摄功能的不断升级已经几乎使噪点和模糊这两个词绝迹于我们的生活。然而，在一些特殊的场合，它们却还是喜欢时不时出来“捣乱”一番。比如，在一场久未碰面的老友重聚的夜间Party上，由于光线不理想，拍摄出来的照片常常面目全非、噪点遍布。不过微软亚洲研究院视觉计算组的研究员们已经找出了解决方案，开启连拍功能就能让噪点问题得到解决。
过去，对于光照较差的夜景虽然可以通过改变光圈的方式来主动降噪，但是同时也会带来背景虚化的情况。而改变ISO还将会引起噪点增大。这些方案无法在手机紧凑低成本的镜头上实现。如果通过软件来单帧降噪，效果和多帧降噪相比却不能尽如人意。研究员表示，这时候就可以考虑多张图重叠，假设基于噪声在持续的均值是零，也因为这个假设，在信噪比很低的时候，多张照片肯定会比单张照片有很大的优势。
简单来说，多张照片进行降噪是选定其中一张照片做为参考，再将连拍的多张照片进行对齐，然后组合这些影像，减少噪点，从而得到一张优化后的照片。目前连拍降噪的方式也出现在一些高级单电相机中，但是他们对运动估计的模型也较简单，所以连拍的照片并不完全重叠，所以会产生重影的效果;另外，他们的去噪效果也不近理想，通常会造成局部区域去噪不干净，或者有卡通块效应的情况发生。研究领域也提供了一些能产生更好效果的方式，但是这些方法的计算代价极高，根本不适合手机这样移动终端使用。而研究员所研究出的算法能够结合以上两种情况，既保证噪点、卡通块效应的减少并且解决重影问题，又能够降低计算的耗时。该技术在降噪过程中还能够设定降噪区域及可降噪程度，并且对照片的要求较低，即便是清晰度不高的照片经过处理也能得到一个质量很好的照片。
这种技术最广泛的应用当然还是在平时图像拍摄中，使用者可以预设一些条件，经过算法处理后得到更自然清晰的照片。目前在Windows的应用商店已经可以下载使用了该技术的App——Blink。研究员表示，这款App也将会在不久后推出iOS和Android版本。
头发动态的运动捕捉和三维重建
——微软亚洲研究院网络图形组
即便是成年人，心中仍然会保留一片童心，对动画片的热爱就是最好的证明。在风靡全球的动画片《冰雪奇缘》中，主人公艾莎一头柔顺美丽、近乎真实的金色长发为角色增添了不少魅力，给观影者留下了深刻的印象。不过据制作方透露，他们为制作艾莎的头发动画其实是大费了一番周折，甚至专门研发了一套程序用以生成艾莎多达40万根3D发丝的头发。的确，在计算机图形学领域，如何让电影中的虚拟人物拥有如现实生活中一般逼真的动态头发一直是研究人员面临的一个棘手问题。不过，经过长期的不懈努力，微软亚洲研究院网络图形组的研究员们正一步步解开这个难题。
来自微软亚洲研究院的这项技术简而言之就是通过从不同角度拍摄头发在真实场景中的运动视频，在计算机中重建发丝级别的动态三维头发模型。这项技术可借由相机对头发进行不同角度的拍摄，再通过计算机进行三维重建。不过这项技术说起来简单，操作起来却没那么容易。虽然摄像机会尽可能全面的对发型进行拍摄，但是一个完整的发型大约有10万根头发。运动中，虽然头发的整体运动具有一定的一致性，但由于发丝间的碰撞摩擦，每根发丝的运动非常复杂，遮挡变化大，摄像机并不能完全捕捉。这些也就成为三维重建和运动捕捉最困难的地方。这项技术的亮点在于利用头发运动的特点，在每根水平的扫描线上抽取整根发丝在每帧中的对应关系，再结合不同拍摄角度的视频，通过综合优化不同发丝空间位置关系和时间上运动序列，使得对头发三维运动的捕捉和重建更准确，更稳定。
虽然目前该技术只能通过采集视频素材来进行三维重建，不过研究员表示作为这个方向的第一步，这一方便可靠的数据采集方案使得采集大量的可重用模型成为可能。当模型积累到一定数量后可以形成数据库，通过机器学习的方法，我们可以更好的理解头发运动的特征，从而可以大大简化头发动态的捕捉，方便头发运动的编辑。用户在未来使用中不用经过长时间的采集，只要简单输入特征和数据库内的模型匹配，微调细节后即可使用。这项技术未来不仅会应用在动画中，我们日常游戏人物形象的设定以及结合目前已有的人像采集技术都能使自己的虚拟形象更加真实。在计算量进一步减少的情况下，最终可能应用在移动设备上。
通过在自然光下的旋转视频实现物体外观高精度重建
——微软亚洲研究院网络图形组
在线购物的一个难题是如何将商品尽可能逼真的展现给大家。由于相机和拍摄环境光照的差异，同一物体往往呈现出不同的外观。网上展示的照片和视频跟真实物体外观的差异，常常让方便的网上购物经历增添不少烦恼。在计算机图形学里，我们用物体的反射属性来描述物体的外观。有了高精度的物体反射属性，我们就可以通过计算重现物体在不同光照环境下栩栩如生的外观了。
不过，捕捉真实世界物体的反射属性可并不是一个容易的任务。现有的解决方案往往需要特定的实验室环境，通过在严格的控制光照和特定拍照角度的一系列照片来完成这一任务。虽然结果质量好，但是设备昂贵，搭建费时。微软亚洲研究院研发的这项技术，首次通过一个真实物体在未知自然光照下旋转的视频，让计算机自动计算出物体的反射属性，进而可以在任意光照下重建出该物体的真实外观。
这项技术最大的挑战是如何同时估计物体拍摄时的环境的光照和物体的反射属性。为此，研究员们利用物体反射属性和环境光照的不同特点，提出了一个优化算法，可以精确的从视频中恢复物体的反射属性。
这项技术未来不仅可以帮助消费者观看物品在自己所处的光照环境下的真实外观，还可以帮助用户了解衣物饰品在不同环境下的穿着打扮效果，极大地提升用户的网上购物体验。
用连拍的方式对夜景照片进行优化
——微软亚洲研究院视觉计算组
如今，手机拍摄功能的不断升级已经几乎使噪点和模糊这两个词绝迹于我们的生活。然而，在一些特殊的场合，它们却还是喜欢时不时出来“捣乱”一番。比如，在一场久未碰面的老友重聚的夜间Party上，由于光线不理想，拍摄出来的照片常常面目全非、噪点遍布。不过微软亚洲研究院视觉计算组的研究员们已经找出了解决方案，开启连拍功能就能让噪点问题得到解决。
过去，对于光照较差的夜景虽然可以通过改变光圈的方式来主动降噪，但是同时也会带来背景虚化的情况。而改变ISO还将会引起噪点增大。这些方案无法在手机紧凑低成本的镜头上实现。如果通过软件来单帧降噪，效果和多帧降噪相比却不能尽如人意。研究员表示，这时候就可以考虑多张图重叠，假设基于噪声在持续的均值是零，也因为这个假设，在信噪比很低的时候，多张照片肯定会比单张照片有很大的优势。
简单来说，多张照片进行降噪是选定其中一张照片做为参考，再将连拍的多张照片进行对齐，然后组合这些影像，减少噪点，从而得到一张优化后的照片。目前连拍降噪的方式也出现在一些高级单电相机中，但是他们对运动估计的模型也较简单，所以连拍的照片并不完全重叠，所以会产生重影的效果;另外，他们的去噪效果也不近理想，通常会造成局部区域去噪不干净，或者有卡通块效应的情况发生。研究领域也提供了一些能产生更好效果的方式，但是这些方法的计算代价极高，根本不适合手机这样移动终端使用。而研究员所研究出的算法能够结合以上两种情况，既保证噪点、卡通块效应的减少并且解决重影问题，又能够降低计算的耗时。该技术在降噪过程中还能够设定降噪区域及可降噪程度，并且对照片的要求较低，即便是清晰度不高的照片经过处理也能得到一个质量很好的照片。
这种技术最广泛的应用当然还是在平时图像拍摄中，使用者可以预设一些条件，经过算法处理后得到更自然清晰的照片。目前在Windows的应用商店已经可以下载使用了该技术的App——Blink。研究员表示，这款App也将会在不久后推出iOS和Android版本。