论文部分内容阅读
中国计算机事业创建五十周年纪念大会已经成功落下帷幕，与大会同期举行的千万亿次计算机、软件与中间件技术、信息安全、数字媒体、人机交互与虚拟现实、多核CPU与程序设计、搜索技术和三网融合八个分论坛也让与会观众对IT热点技术的发展有了更深入地了解。为了将各个论坛的最新技术带给更多的读者，《产品与应用》版将陆续对中国计算机事业五十周年前沿热点技术进行系列报道。
提起数字媒体，人们通常会想到传媒行业，其实数字媒体的应用绝不局限于传媒。随着宽带网络的普及，人们在日常业务处理过程中，正面对越来越丰富的网上媒体和内容，包括各种视频、音频、文本、图像等。下面，就让我们跟着诸位数字媒体方面的专家一起来分享这个缤纷的世界。
三维几何建模与形状表示
北京大学视觉与听觉信息处理国家重点实验室主任教育部长江学者奖励计划特聘教授 查红彬
精彩问答
● 在背景比较复杂、有干扰的情况下模型检索的效果怎么样？
在模型检索的时候并没有考虑背景，因为这是做模型检索比较容易的部分。模型检索一般是没有背景的，但也可以做，但是要推广到背景比较复杂的物体上识别可能有很大的问题，因为这时候匹配不仅仅是局部匹配，而是两个子集和子集的匹配问题，到目前为止，我们只是做没有背景的模型检索。
为什么要重新谈论三维形状表示问题？在多媒体信息处理领域里面，有两个比较重要的方向，这也是计算机科学技术领域里两个重要的方向，一个是计算机视觉，一个是计算机图形学。计算机视觉是从图像中通过识别或重建处理，得到一个对对象物的描述。反过来说图形学，是对一个对象和场景的描述，通过绘制和动画生成图像和视频。它们从处理过程来说是逆过程，这两个领域之间有密切的关联。
我们现在考虑计算机三维建模或模型的描述，考虑的不仅仅是计算机视觉或计算机图形学所包含的内容。这里面简单列举一下，比如基于模型的三维物体识别和场景识别，这两个应该是典型的计算机视觉里面考虑的应用。除了这以外还可以用模型干别的事情，比如绘制，还包括基于这样模型的设计、变形、动画等等。除了两个单独研究的应用之外，还要想怎么把两者结合起来，把虚拟和真实的东西无缝连接到一起，这些都牵涉到三维模型。
我们考虑的三维模型跟以前相比，应用领域大了很多，要达到这个要求，对模型的表达、形状的表达也都有了更高的要求。
怎样找到一些更新更有效地表达形式来符合这些要求呢？这里有四个方面，现在能不能建立一个形状空间，把考虑的对象完整地在形状空间里面表达出来。第二点就是针对形状的特性，表达要具有柔性，对象物的表面不都是连续的，也有一些非连续性和不规律性，这些特性怎样能够进行柔性处理。第三个是需要一些描述是局部性的，另外一些要求描述是整体性的，这两者之间如何有一个很好的结合方法。第四是在大量的计算当中，包括变形和动画中有很多编辑的工具，所以我们要求对现在的形状表达有一些比较高的要求。
在计算机视觉里面有一个老大难就是识别，已有模型，但是眼前看到的是一部分三维数据，怎么用这部分数据和模型数据匹配来识别它呢？这就牵涉到局部匹配，我们要解决局部匹配需要什么描述？我们要有一个模型，从大量的数据中建立一个模型库，并从中抽取很多特征，把这些特征进行组织。这里面牵涉三个比较大的问题，第一个是形状空间怎么构造，没有很好的特征表达或整理的形式，后面的匹配以及其他的工作就很难做。第二个是怎么定义基于这种特征的相似度。第三个是怎样在形状空间当中搜索到最优的匹配。
针对这些问题我们最近一两年做了一些工作，最近提出一个广义形状分布(Generalized Shape Distributions)描述方式，主要目的有两点，能不能在三维形状表示过程当中，找到一些最关键的描述指令，并从中找到相互关系，把整体和局部结合起来。如果把之间的关系描述出来，就能把局部结构性的信息用整体观点加进去，这两件工作就是我们做这件事情的主要目的。
在形状描述问题上，我们还有很多工作要做，除了局部、整体描述之外，我们要想办法把他们结合到一起。今后几年要用更多的模式识别的办法，来解决面临的图形学或虚拟现实和计算机视觉当中的很多问题。
生活中的计算机视觉
香港中文大学信息工程系终身教授
微软亚洲研究院视觉计算组负责人 汤晓欧
精彩问答
● 微软亚洲研究院视觉计算组在原创思想这一块，引领下一个方向有没有什么考虑，您谈到很多对人们日常生活影响很大的应用，但是在背后的更深层的考虑，更新的创意在哪里呢？
我们的研究者都很年轻，我本人也才工作七年的时间，很多的算法已经发展这么多年了，所以在开始的时候比较容易想出来的方法，现在已经很难有那么多的原创内容。我们的工作是去找一些非常原创的内容，有的是理论上的，有的是新的发明，这可以有很大的影响。
● 图像通过闪光灯的分割，前景和背景深度差会不会影响分割效果，距离会不会影响分割效果呢？
我们这个通过闪光灯对图像进行分割的技术，会一定程度上受到光的强度和距离的影响。
我们主要的研究领域包括计算机视觉、模式识别、图像处理和视频处理。下面就为大家介绍几个比较典型的应用。
如何将图片的前景和后景分离？我们现在照两张图片，一张打闪光灯，一张没有打闪光灯，这样拍出来的照片背景没有变化，但前景变化很厉害。在开闪光灯的情况下拍的照片，前景和后景可以利用一些技术很容易地分开来。
把一个图片的前景切割出来放入另一张图后，那剩下的图片缺一块的怎么办呢？如何修复剩下的图片呢？在例举的图片上，大家可以看到不同的区域，我们可以由一个算法，从其他的地方借过来，再贴上去，经过这样的处理后，图像基本上和原来没有太大的区别。
如此的修修补补又有什么用呢？比如说，你对这张图像不是很满意，你可以把图片上不喜欢的部分划出来，然后利用一些技术将划出来的空白部分填上。更有用的地方在于，你照了不想被别人看到的照片后，除了删除，你多了一个选择。你可以把不想让别人看到的照片部分去掉，并利用一些算法把空白的地方填补上，而且让别人看不出来。
现在大家的电脑上都会有很多照片，怎么快速地浏览这些照片呢？我们可以把这些图像都放在一个屏幕上，可屏幕毕竟有限，怎么才能把照片放得更多一些呢？我们现在做的是可以随机把照片放到桌面上，但是电脑会对每张照片上的重要信息进行筛选，在放尽可能多的照片的同时，让每张照片上最重要的信息不被遮掩，而且均匀地分布在桌面上。这样大家看起来就更清楚了。这个算法就是怎么让所有图像均匀分布，同时把所有背景都要盖上。我们可以对图像进行各种处理，同时我们也可以利用一些技术知道别人有没有处理图像，对图像有没有做过手脚。
现在我们来说说视频方面。比如说抖动很厉害的图像，怎么把物体移到中间？一个办法是把除移动图像外的公共部分切出来，但是移动越大，公共部分就会越来越小，更好的办法是用一些技术把空处填上。
现在MSN的功能已经越来越丰富。比如说一段电影，你看到一件比较中意的衣服，只要你把鼠标移动衣服的覆盖范围，你就能很清楚地知道这件衣服的品牌及价格。如果你把鼠标在那件衣服上轻点，电脑就会直接跳转到这个衣服的相关网站。
你在视频聊天的时候如果不想让对方看到你所处的环境，你就可以很轻松地把背景模糊掉。如果大家对自己的长相不是那么有信心，我们可以帮你改变一下你的长相。为自己添一幅酷酷的墨镜，换上一个性感的大嘴巴，这些都能轻而易举地完成。
多媒体传感器网络
北京邮电大学教授、博士生导师
智能通信软件与多媒体北京市重点实验室主任 马华东
传感器研究是IT非常热门的话题， 首先我为大家介绍一下多媒体传感器网络的基本概念。从早期的巨型机到今天的小型机，生物芯片尺寸越来越小，但是效率越来越高；网络设备联网和数据交换的需求越来越大，设备之间的传输量也越来越大；从信息处理的角度来看，内容逐渐占据了主导地位，由数据为中心转到以内容处理为中心。这三方面的演化是今天讨论多媒体传感器的背景。
传感器网络是一组传感器节点，由组织方式协作地感知采集和处理感知对象的信息，它的基本特点是造价低、能量敏感、通信能力有限、计算能力弱、动态变化。现在的需求是要求通信能力越来越强，计算能力应付节点的处理的要求。
右图是目前主流的传感器节点的配置，从配置来讲还是比较低的，现在信息处理侧重压力、温度、光、震动等简单的数据或者是标量数据。人类获取信息80%是视觉信息，10%左右是听觉信息，也就是说90%左右的信息是多媒体信息。传感器网络就是对音频、视频信息获取后提供给使用者，使其对环境信息有一个全方位的了解，对传感器网络的应用是非常广泛的。
从网络的结构来讲，基本结构和原来传感器网络差别不是很大，这里面强调增加音频、视频获取处理，网络传输整个过程的各个环节，同时这里面最好可以交互。有了这个概念以后，深入分析一下主要特点，首先是网络能力的增强，这样一个传感器网络应该集信息的采集、处理传输、转发、能量供应等方面，除了传统的标量数据，音频、视频的图像数据，都可以进行采集处理。
现在多媒体传感器网络目前有哪些问题呢？从需求来看，现在网络是异构的信息，媒体信息的格式，种类很多，并且差异非常大，数据量比较大，特别是音频、视频信息，格式比较复杂。这些信息传输过程中需要高速实时地传输，对网络传输速率也提出了比较高的要求。媒体信息的安全问题，也是网络需要考虑的，还有服务质量的问题。针对这些需求，我们可以看到，通信资源和计算资源这两者之间存在非常大的矛盾，或者非常大的鸿沟，如何解决这两者之间的差距就是我们研究的问题所在。
最后谈一下多媒体传感器网络研究的挑战，首先是节点的芯片设计，这是基础，这里面需要采用多种技术，包括软硬件协同设计的技术，各种技术结合，降低成本、能耗、体积、提高运算速度和可靠性。第二是三维场景的覆盖问题，方向性传感模型是一个简单的二维图形，实际上是三维图形监测，这是一个三维场景方向的问题，研究这个就复杂多了。还有一个问题是服务质量保证问题，在新的网络当中服务质量体系是什么样，也是研究的方向。再一个是信息处理，为了使网络传输数据量比较快，能不能在节点做信息处理的计算。当然信息的安全也比较重要，用这些节点获取多媒体信息怎么保证安全的质量，使应该看到的人看到这些信息，不应该看到的人看不到这些信息。
在多媒体传感器网络中，我们还是做了一些工作，和一些同行学者也有一些交流，这里面也有一些质疑，说多媒体传感网络和原来传感器网络设计初衷是不是吻合的，原来没有想让它处理这么多信息，原来体积比较小，加上这些信息以后，无疑使它的体积增大，这里面和初衷之间是不是有矛盾，传感器网络研究有没有必要性，如果有必要性可行不可行，这都是我们目前研究的问题。
下期预告
下期我们将推出中国计算机事业五十周年前沿热点系列报道之二人机交互与虚拟现实篇，报道将围绕CHI和新信息技术、大规模场景的实时图形绘制技术与引擎系统、普适计算模式下和物理空间中的人机交互三个话题展开。
提起数字媒体，人们通常会想到传媒行业，其实数字媒体的应用绝不局限于传媒。随着宽带网络的普及，人们在日常业务处理过程中，正面对越来越丰富的网上媒体和内容，包括各种视频、音频、文本、图像等。下面，就让我们跟着诸位数字媒体方面的专家一起来分享这个缤纷的世界。
三维几何建模与形状表示
北京大学视觉与听觉信息处理国家重点实验室主任教育部长江学者奖励计划特聘教授 查红彬
精彩问答
● 在背景比较复杂、有干扰的情况下模型检索的效果怎么样？
在模型检索的时候并没有考虑背景，因为这是做模型检索比较容易的部分。模型检索一般是没有背景的，但也可以做，但是要推广到背景比较复杂的物体上识别可能有很大的问题，因为这时候匹配不仅仅是局部匹配，而是两个子集和子集的匹配问题，到目前为止，我们只是做没有背景的模型检索。
为什么要重新谈论三维形状表示问题？在多媒体信息处理领域里面，有两个比较重要的方向，这也是计算机科学技术领域里两个重要的方向，一个是计算机视觉，一个是计算机图形学。计算机视觉是从图像中通过识别或重建处理，得到一个对对象物的描述。反过来说图形学，是对一个对象和场景的描述，通过绘制和动画生成图像和视频。它们从处理过程来说是逆过程，这两个领域之间有密切的关联。
我们现在考虑计算机三维建模或模型的描述，考虑的不仅仅是计算机视觉或计算机图形学所包含的内容。这里面简单列举一下，比如基于模型的三维物体识别和场景识别，这两个应该是典型的计算机视觉里面考虑的应用。除了这以外还可以用模型干别的事情，比如绘制，还包括基于这样模型的设计、变形、动画等等。除了两个单独研究的应用之外，还要想怎么把两者结合起来，把虚拟和真实的东西无缝连接到一起，这些都牵涉到三维模型。
我们考虑的三维模型跟以前相比，应用领域大了很多，要达到这个要求，对模型的表达、形状的表达也都有了更高的要求。
怎样找到一些更新更有效地表达形式来符合这些要求呢？这里有四个方面，现在能不能建立一个形状空间，把考虑的对象完整地在形状空间里面表达出来。第二点就是针对形状的特性，表达要具有柔性，对象物的表面不都是连续的，也有一些非连续性和不规律性，这些特性怎样能够进行柔性处理。第三个是需要一些描述是局部性的，另外一些要求描述是整体性的，这两者之间如何有一个很好的结合方法。第四是在大量的计算当中，包括变形和动画中有很多编辑的工具，所以我们要求对现在的形状表达有一些比较高的要求。
在计算机视觉里面有一个老大难就是识别，已有模型，但是眼前看到的是一部分三维数据，怎么用这部分数据和模型数据匹配来识别它呢？这就牵涉到局部匹配，我们要解决局部匹配需要什么描述？我们要有一个模型，从大量的数据中建立一个模型库，并从中抽取很多特征，把这些特征进行组织。这里面牵涉三个比较大的问题，第一个是形状空间怎么构造，没有很好的特征表达或整理的形式，后面的匹配以及其他的工作就很难做。第二个是怎么定义基于这种特征的相似度。第三个是怎样在形状空间当中搜索到最优的匹配。
针对这些问题我们最近一两年做了一些工作，最近提出一个广义形状分布(Generalized Shape Distributions)描述方式，主要目的有两点，能不能在三维形状表示过程当中，找到一些最关键的描述指令，并从中找到相互关系，把整体和局部结合起来。如果把之间的关系描述出来，就能把局部结构性的信息用整体观点加进去，这两件工作就是我们做这件事情的主要目的。
在形状描述问题上，我们还有很多工作要做，除了局部、整体描述之外，我们要想办法把他们结合到一起。今后几年要用更多的模式识别的办法，来解决面临的图形学或虚拟现实和计算机视觉当中的很多问题。
生活中的计算机视觉
香港中文大学信息工程系终身教授
微软亚洲研究院视觉计算组负责人 汤晓欧
精彩问答
● 微软亚洲研究院视觉计算组在原创思想这一块，引领下一个方向有没有什么考虑，您谈到很多对人们日常生活影响很大的应用，但是在背后的更深层的考虑，更新的创意在哪里呢？
我们的研究者都很年轻，我本人也才工作七年的时间，很多的算法已经发展这么多年了，所以在开始的时候比较容易想出来的方法，现在已经很难有那么多的原创内容。我们的工作是去找一些非常原创的内容，有的是理论上的，有的是新的发明，这可以有很大的影响。
● 图像通过闪光灯的分割，前景和背景深度差会不会影响分割效果，距离会不会影响分割效果呢？
我们这个通过闪光灯对图像进行分割的技术，会一定程度上受到光的强度和距离的影响。
我们主要的研究领域包括计算机视觉、模式识别、图像处理和视频处理。下面就为大家介绍几个比较典型的应用。
如何将图片的前景和后景分离？我们现在照两张图片，一张打闪光灯，一张没有打闪光灯，这样拍出来的照片背景没有变化，但前景变化很厉害。在开闪光灯的情况下拍的照片，前景和后景可以利用一些技术很容易地分开来。
把一个图片的前景切割出来放入另一张图后，那剩下的图片缺一块的怎么办呢？如何修复剩下的图片呢？在例举的图片上，大家可以看到不同的区域，我们可以由一个算法，从其他的地方借过来，再贴上去，经过这样的处理后，图像基本上和原来没有太大的区别。
如此的修修补补又有什么用呢？比如说，你对这张图像不是很满意，你可以把图片上不喜欢的部分划出来，然后利用一些技术将划出来的空白部分填上。更有用的地方在于，你照了不想被别人看到的照片后，除了删除，你多了一个选择。你可以把不想让别人看到的照片部分去掉，并利用一些算法把空白的地方填补上，而且让别人看不出来。
现在大家的电脑上都会有很多照片，怎么快速地浏览这些照片呢？我们可以把这些图像都放在一个屏幕上，可屏幕毕竟有限，怎么才能把照片放得更多一些呢？我们现在做的是可以随机把照片放到桌面上，但是电脑会对每张照片上的重要信息进行筛选，在放尽可能多的照片的同时，让每张照片上最重要的信息不被遮掩，而且均匀地分布在桌面上。这样大家看起来就更清楚了。这个算法就是怎么让所有图像均匀分布，同时把所有背景都要盖上。我们可以对图像进行各种处理，同时我们也可以利用一些技术知道别人有没有处理图像，对图像有没有做过手脚。
现在我们来说说视频方面。比如说抖动很厉害的图像，怎么把物体移到中间？一个办法是把除移动图像外的公共部分切出来，但是移动越大，公共部分就会越来越小，更好的办法是用一些技术把空处填上。
现在MSN的功能已经越来越丰富。比如说一段电影，你看到一件比较中意的衣服，只要你把鼠标移动衣服的覆盖范围，你就能很清楚地知道这件衣服的品牌及价格。如果你把鼠标在那件衣服上轻点，电脑就会直接跳转到这个衣服的相关网站。
你在视频聊天的时候如果不想让对方看到你所处的环境，你就可以很轻松地把背景模糊掉。如果大家对自己的长相不是那么有信心，我们可以帮你改变一下你的长相。为自己添一幅酷酷的墨镜，换上一个性感的大嘴巴，这些都能轻而易举地完成。
多媒体传感器网络
北京邮电大学教授、博士生导师
智能通信软件与多媒体北京市重点实验室主任 马华东
传感器研究是IT非常热门的话题， 首先我为大家介绍一下多媒体传感器网络的基本概念。从早期的巨型机到今天的小型机，生物芯片尺寸越来越小，但是效率越来越高；网络设备联网和数据交换的需求越来越大，设备之间的传输量也越来越大；从信息处理的角度来看，内容逐渐占据了主导地位，由数据为中心转到以内容处理为中心。这三方面的演化是今天讨论多媒体传感器的背景。
传感器网络是一组传感器节点，由组织方式协作地感知采集和处理感知对象的信息，它的基本特点是造价低、能量敏感、通信能力有限、计算能力弱、动态变化。现在的需求是要求通信能力越来越强，计算能力应付节点的处理的要求。
右图是目前主流的传感器节点的配置，从配置来讲还是比较低的，现在信息处理侧重压力、温度、光、震动等简单的数据或者是标量数据。人类获取信息80%是视觉信息，10%左右是听觉信息，也就是说90%左右的信息是多媒体信息。传感器网络就是对音频、视频信息获取后提供给使用者，使其对环境信息有一个全方位的了解，对传感器网络的应用是非常广泛的。
从网络的结构来讲，基本结构和原来传感器网络差别不是很大，这里面强调增加音频、视频获取处理，网络传输整个过程的各个环节，同时这里面最好可以交互。有了这个概念以后，深入分析一下主要特点，首先是网络能力的增强，这样一个传感器网络应该集信息的采集、处理传输、转发、能量供应等方面，除了传统的标量数据，音频、视频的图像数据，都可以进行采集处理。
现在多媒体传感器网络目前有哪些问题呢？从需求来看，现在网络是异构的信息，媒体信息的格式，种类很多，并且差异非常大，数据量比较大，特别是音频、视频信息，格式比较复杂。这些信息传输过程中需要高速实时地传输，对网络传输速率也提出了比较高的要求。媒体信息的安全问题，也是网络需要考虑的，还有服务质量的问题。针对这些需求，我们可以看到，通信资源和计算资源这两者之间存在非常大的矛盾，或者非常大的鸿沟，如何解决这两者之间的差距就是我们研究的问题所在。
最后谈一下多媒体传感器网络研究的挑战，首先是节点的芯片设计，这是基础，这里面需要采用多种技术，包括软硬件协同设计的技术，各种技术结合，降低成本、能耗、体积、提高运算速度和可靠性。第二是三维场景的覆盖问题，方向性传感模型是一个简单的二维图形，实际上是三维图形监测，这是一个三维场景方向的问题，研究这个就复杂多了。还有一个问题是服务质量保证问题，在新的网络当中服务质量体系是什么样，也是研究的方向。再一个是信息处理，为了使网络传输数据量比较快，能不能在节点做信息处理的计算。当然信息的安全也比较重要，用这些节点获取多媒体信息怎么保证安全的质量，使应该看到的人看到这些信息，不应该看到的人看不到这些信息。
在多媒体传感器网络中，我们还是做了一些工作，和一些同行学者也有一些交流，这里面也有一些质疑，说多媒体传感网络和原来传感器网络设计初衷是不是吻合的，原来没有想让它处理这么多信息，原来体积比较小，加上这些信息以后，无疑使它的体积增大，这里面和初衷之间是不是有矛盾，传感器网络研究有没有必要性，如果有必要性可行不可行，这都是我们目前研究的问题。
下期预告
下期我们将推出中国计算机事业五十周年前沿热点系列报道之二人机交互与虚拟现实篇，报道将围绕CHI和新信息技术、大规模场景的实时图形绘制技术与引擎系统、普适计算模式下和物理空间中的人机交互三个话题展开。