论文部分内容阅读
由于当前城市发展模式僵化，社会问题和矛盾不断显现，造成巨大的能源浪费和交通拥堵、环境污染，因此智慧城市成为了城市发展的一个新愿景，也是综合城市发展规划、城市运行管理的一种新发展模式。其中，智能的视觉技术对图像与视频的高效处理扮演着重要的角色。
图像视频的结构化分析
在智能交通监控和智能安保系统当中，需通过对大量的图像、视频进行提取和分析，才能进行内容的识别和行为的检测。
显著性区域检测
显著性区域检测，就是在图像、视频中找到最容易引起视觉注意的区域，比如前景，或者运动的物体等。通过显著性检测，可以优先分配计算资源，提高目标识别、内容分割和检索的准确性。在城市安防、交通监控、公共安全、刑侦等方面，可以用于灾害的检测、异常行为检测、犯罪线索搜索等，它是一个非常底层的算法，通过这个显著区域检测，可以做前景的分割。它的重要意义是基于全部的对比要比基于局部的对比的方法优秀，识别与检测工作可基于这一基本判断，即当找这个显著性区域的时候，就可以做全局性对比。区域显著性主要是由它和周围区域的对比度决定的，相对较远的区，作用会较小。另外，做显著性检测算法的时候速度一定要非常快，因为它处于底层，需处理海量的图像数据。团队主要的想法就是提出一个“直方图对比度方法”。
团队还提出了基于区域对比度的方法，这个算法在目前最大的公开测试集上做了测试，在精度和召回率方面，都比原来有很大提高。这个工作发表在2011年的CVPR（IEEE Conference On Computer VisiOn and Pattern Recognition，IEEE国际计算机视觉与模式识别会议）上，现在国内外700多个大学在应用这个算法。
相互几何结构的检测
清华团队提出了一种基于简单交互的相似物体快速检测方法，并在此基础上进行了物体的几何对应关系计算。主要流程是用户选一个物体后，程序会通过轮廓带图法来检测相似的物体，然后就可以再进一步做对应关系、层次、补全等应用。核心技术轮廓带图法是一种图像比对的方法，它利用所选图像的信息做扫描、比配，来找其它相似的物体，然后可以做几何层次结构图恢复。例如在一张图上描绘有若干个蒙古包，通过相互几何结构的检测可以自动识别与其相似的物体，赋予图形不止有像素的概念，还有物体的概念，这样即可同时对它们进行编辑，当对一个蒙古包图形进行添加门的编辑操作时，就可以让其它的蒙古包图形同时加上门。
场景几何构图的分析与优化
清华团队提出了一种基于视觉和心理学准则来自动评价视频图像数据中物体几何构图的方法，指导用户的构图。利用这个方法可以做很有趣的事情，可以把前景物体自由摆放到恰当的位置，让人感觉效果比较好。
关于图像与视频的编辑
由于摄影、摄像等终端采集设备与网络技术的广泛推广，图像与视频数据呈几何爆炸增长。在智能交通监控，或者交互公共服务中，原始数据必须要经过自动编辑处理才能进入应用阶段，而视频内容也可以通过交互式的编辑用于演示与分析。在这方面，清华团队主要进行双目立体图像的视角编辑、鱼眼视频校正、视频的时空编辑三方面的工作。
余眼视频校正
目前很多监控视频都采用鱼眼镜头，鱼眼镜头是超广角镜头，视角很大，它拍的东西图像是扭曲的，为保持显著图与实物的一致性，清华团队提出一种高效并且具有鲁棒性的鱼眼视频校正算法。通过该校正算法，可对广角镜头拍的原始的视频进行校正，重新裁剪，使其就变成一个比较正常的视频。
视频的时空编辑
视频的时空编辑就是在时域上以时间线来编辑视觉体校，这是在电影中经常被使用的方式。通过对城市中拍摄的视频进行时域编辑，可以展示很多智慧城市的不同风貌。例如对视频中的运动对象做时间轴的编辑，可以在不改变物体运动轨迹的情况下，改变它们的运动速度，以达到不同的效果。清华团队制作了一个软件界面，把视频中汽车的轨迹用柱状物表达出来，然后从另一个界面来控制它，视频中本来会相撞的车，通过更改其速度会变成不撞车。使用这个时空编辑可以进行很多交通情况的分析，和案件再现、分析等。在视频的时空编辑方面，现在国际上才刚刚开始做。
图像视频的增强
今年雾霾成为全国的热点。清华团队提出了一个去雾的模型和方法，主要是对数字图像进行深度估计，然后基于深度图优化，利用优化和深度图来做去雾的生成，效果不错。第二个是边缘敏感的图像滤波。提出了一种通用的滤波算式来做图像的处理，但是希望保持边缘结构。算法的思路是，利用简单的图像滤波器，在图像的每个较小的子窗口上获得满意的输出结构，然后将局部滤波效果无缝拼接起来。这样就可以对图像的细节度和对比度进行调节，改变图像效果。另外还可以做图像增强，如高动态防伪的图像增强。
平台的实际应用
在这些关键技术上的研究成果之上，清华团队参与实施两个实用平台，一个是腾讯街景项目，第二个是非常简单的面向公安的图像搜索。
腾讯街景
城市街景是智慧城市重要的一环，已成为国际上的热点，谷歌和微软都在花大力气做这个事情。城市街景提供了极为丰富的地理信息和各种相关信息，方便了城市居民的生活。另外它也逐渐会成为一种新兴的商业媒介，成为互联网企业赢利的新平台。街景可以很自然地把数字城市和商业结合起来，比如做街景游戏、街景广告等。街景同时也是国家重要的战略资源，街景数据是城市合理规划的重要依据。
街景的前景如此美好，但也存在一些关键问题。一是数据的获取和数据化，图像拍摄采集的数据细节非常多，但是数据系数却缺失严重。二是数据拼接和补全，直接采集的海量街景数据，有很多质量上的问题，比如逆光，采用360度拍摄的街景，一定会有一个方向是逆光的，这会影响使用效果。三是利益分析和检索，城市街中包含大量的文字、图形、符号等，它们构成了城市的标识，用来表示位置、方向、内容等，怎么样做到识别和检索，都会带来很多的挑战。四是传输、呈现和漫游，海量的街景数据中包含大量的有用信息，基于街景数据特征的高效压缩与编码技术，是解决街景呈现的重要元素。清华大学和腾讯去年承担了国家863信息领域的项目，要构建适应海量数据和大规模用户的城市街景应用验证平台，这个街景前段时间已经上线了。通过这个街景大家可以看到很多没有去过的地方。
面向公安系统的图像智能搜索
城市社区有大量的监控图像，这些会给当地案件的破案提供很多关键线索，但实际上现有技术解决不了所有问题，不可能实时发现、监控、检索等。现在每个公安局的刑侦大队都会雇几十个甚至上百个协警看视频图像，研究人员主要通过相关特征对人和车进行搜索。通过这个平台，计算器可以进行并行计算，在庞大的图像库里算出匹配概率最大的车，查找时间大大减少。目前，清华团队已跟浙江有关地级市的刑侦大队进行了合作，提供软件给他们试用。
随着媒体信息获取设备的不断普及，不断产生一些新的技术需求，促进图像与视频技术的发展，图像与视频技术的发展，特别是3D技术的突破，将会进一步促进城市智慧化和高效化的进程。在智慧城市的建设过程中，图像与视频的理解和处理技术有广阔的应用前景和发展空间。
图像视频的结构化分析
在智能交通监控和智能安保系统当中，需通过对大量的图像、视频进行提取和分析，才能进行内容的识别和行为的检测。
显著性区域检测
显著性区域检测，就是在图像、视频中找到最容易引起视觉注意的区域，比如前景，或者运动的物体等。通过显著性检测，可以优先分配计算资源，提高目标识别、内容分割和检索的准确性。在城市安防、交通监控、公共安全、刑侦等方面，可以用于灾害的检测、异常行为检测、犯罪线索搜索等，它是一个非常底层的算法，通过这个显著区域检测，可以做前景的分割。它的重要意义是基于全部的对比要比基于局部的对比的方法优秀，识别与检测工作可基于这一基本判断，即当找这个显著性区域的时候，就可以做全局性对比。区域显著性主要是由它和周围区域的对比度决定的，相对较远的区，作用会较小。另外，做显著性检测算法的时候速度一定要非常快，因为它处于底层，需处理海量的图像数据。团队主要的想法就是提出一个“直方图对比度方法”。
团队还提出了基于区域对比度的方法，这个算法在目前最大的公开测试集上做了测试，在精度和召回率方面，都比原来有很大提高。这个工作发表在2011年的CVPR（IEEE Conference On Computer VisiOn and Pattern Recognition，IEEE国际计算机视觉与模式识别会议）上，现在国内外700多个大学在应用这个算法。
相互几何结构的检测
清华团队提出了一种基于简单交互的相似物体快速检测方法，并在此基础上进行了物体的几何对应关系计算。主要流程是用户选一个物体后，程序会通过轮廓带图法来检测相似的物体，然后就可以再进一步做对应关系、层次、补全等应用。核心技术轮廓带图法是一种图像比对的方法，它利用所选图像的信息做扫描、比配，来找其它相似的物体，然后可以做几何层次结构图恢复。例如在一张图上描绘有若干个蒙古包，通过相互几何结构的检测可以自动识别与其相似的物体，赋予图形不止有像素的概念，还有物体的概念，这样即可同时对它们进行编辑，当对一个蒙古包图形进行添加门的编辑操作时，就可以让其它的蒙古包图形同时加上门。
场景几何构图的分析与优化
清华团队提出了一种基于视觉和心理学准则来自动评价视频图像数据中物体几何构图的方法，指导用户的构图。利用这个方法可以做很有趣的事情，可以把前景物体自由摆放到恰当的位置，让人感觉效果比较好。
关于图像与视频的编辑
由于摄影、摄像等终端采集设备与网络技术的广泛推广，图像与视频数据呈几何爆炸增长。在智能交通监控，或者交互公共服务中，原始数据必须要经过自动编辑处理才能进入应用阶段，而视频内容也可以通过交互式的编辑用于演示与分析。在这方面，清华团队主要进行双目立体图像的视角编辑、鱼眼视频校正、视频的时空编辑三方面的工作。
余眼视频校正
目前很多监控视频都采用鱼眼镜头，鱼眼镜头是超广角镜头，视角很大，它拍的东西图像是扭曲的，为保持显著图与实物的一致性，清华团队提出一种高效并且具有鲁棒性的鱼眼视频校正算法。通过该校正算法，可对广角镜头拍的原始的视频进行校正，重新裁剪，使其就变成一个比较正常的视频。
视频的时空编辑
视频的时空编辑就是在时域上以时间线来编辑视觉体校，这是在电影中经常被使用的方式。通过对城市中拍摄的视频进行时域编辑，可以展示很多智慧城市的不同风貌。例如对视频中的运动对象做时间轴的编辑，可以在不改变物体运动轨迹的情况下，改变它们的运动速度，以达到不同的效果。清华团队制作了一个软件界面，把视频中汽车的轨迹用柱状物表达出来，然后从另一个界面来控制它，视频中本来会相撞的车，通过更改其速度会变成不撞车。使用这个时空编辑可以进行很多交通情况的分析，和案件再现、分析等。在视频的时空编辑方面，现在国际上才刚刚开始做。
图像视频的增强
今年雾霾成为全国的热点。清华团队提出了一个去雾的模型和方法，主要是对数字图像进行深度估计，然后基于深度图优化，利用优化和深度图来做去雾的生成，效果不错。第二个是边缘敏感的图像滤波。提出了一种通用的滤波算式来做图像的处理，但是希望保持边缘结构。算法的思路是，利用简单的图像滤波器，在图像的每个较小的子窗口上获得满意的输出结构，然后将局部滤波效果无缝拼接起来。这样就可以对图像的细节度和对比度进行调节，改变图像效果。另外还可以做图像增强，如高动态防伪的图像增强。
平台的实际应用
在这些关键技术上的研究成果之上，清华团队参与实施两个实用平台，一个是腾讯街景项目，第二个是非常简单的面向公安的图像搜索。
腾讯街景
城市街景是智慧城市重要的一环，已成为国际上的热点，谷歌和微软都在花大力气做这个事情。城市街景提供了极为丰富的地理信息和各种相关信息，方便了城市居民的生活。另外它也逐渐会成为一种新兴的商业媒介，成为互联网企业赢利的新平台。街景可以很自然地把数字城市和商业结合起来，比如做街景游戏、街景广告等。街景同时也是国家重要的战略资源，街景数据是城市合理规划的重要依据。
街景的前景如此美好，但也存在一些关键问题。一是数据的获取和数据化，图像拍摄采集的数据细节非常多，但是数据系数却缺失严重。二是数据拼接和补全，直接采集的海量街景数据，有很多质量上的问题，比如逆光，采用360度拍摄的街景，一定会有一个方向是逆光的，这会影响使用效果。三是利益分析和检索，城市街中包含大量的文字、图形、符号等，它们构成了城市的标识，用来表示位置、方向、内容等，怎么样做到识别和检索，都会带来很多的挑战。四是传输、呈现和漫游，海量的街景数据中包含大量的有用信息，基于街景数据特征的高效压缩与编码技术，是解决街景呈现的重要元素。清华大学和腾讯去年承担了国家863信息领域的项目，要构建适应海量数据和大规模用户的城市街景应用验证平台，这个街景前段时间已经上线了。通过这个街景大家可以看到很多没有去过的地方。
面向公安系统的图像智能搜索
城市社区有大量的监控图像，这些会给当地案件的破案提供很多关键线索，但实际上现有技术解决不了所有问题，不可能实时发现、监控、检索等。现在每个公安局的刑侦大队都会雇几十个甚至上百个协警看视频图像，研究人员主要通过相关特征对人和车进行搜索。通过这个平台，计算器可以进行并行计算，在庞大的图像库里算出匹配概率最大的车，查找时间大大减少。目前，清华团队已跟浙江有关地级市的刑侦大队进行了合作，提供软件给他们试用。
随着媒体信息获取设备的不断普及，不断产生一些新的技术需求，促进图像与视频技术的发展，图像与视频技术的发展，特别是3D技术的突破，将会进一步促进城市智慧化和高效化的进程。在智慧城市的建设过程中，图像与视频的理解和处理技术有广阔的应用前景和发展空间。