论文部分内容阅读
为提高人工智能在智慧城市等大型应用中的研究水平，真正做到平安城市、数字城市、宜居城市等，参考美国DARPA机器人挑战赛DRC、NIST组织TRECVID等的经验，有必要组织全国性的智能视频分析技术评测与竞赛，通过公开的技术评测来推动智能视频分析技术及其相关（交叉）学科的发展，并通过比赛锻炼技术研究人员和研究生的解决问题能力，适应大数据时代对计算机科学人才培养的特殊需求。
在此背景下，2013年3月24日举办的“智慧城市中的视频分析与评测”论坛中特设置了“专题互动”环节。该环节以圆桌论坛的形式：业内专家发表观点并与场内观众互动，对我国智慧城市建设过程中人工智能应用的问题与挑战进行了探讨、分析与求解。本刊对此进行了全面报道。
智能视频监控之虚拟现实技术
虚拟现实环境可以使用户产生等同于真实环境的体验。因此虚拟现实环境首先要构建模型。虚拟环境主要是靠一些图形来实现，它的数据主要来源于三个方面，一是人在机器上构建，像几何模型，由人依靠一些软件工具来构建；二是数学的方法，物理模型要通过一些数学的方程、算法。来产生一些物理的动态的感觉；三是通过数据。这些数据是直接采集的，包括照片、视频、图像，来构建三维模型。
现在视频资源越来越丰富，这是一个构建虚拟环境非常重要的数据来源，而且用图像构建的虚拟环境，逼真度非常高，但在三维特征及交互方面相对较弱。
怎么从图像上获取数据，得到图像当中的对象，通过单幅或者多幅的图像，把它进行模型化，这是一个值得探讨的方向。过去有人研究基于图像的建模，也就是基于图像的虚拟现实环境的技术。北京航空航天大学在这方面也做了一些尝试，构建了一个基于视频图像的素材来生成虚拟场景，包括场景对象的编辑、内容标注等基本内容，基础的就是结构分析、场景分割、场景分层等基本的图像处理。这个系统可以把一幅视频里面的人像抠下来，把它嵌入另外一个场景中，这在影视制作的后期中已经有应用。同时，还可以把一场足球赛的视频自动压缩成40多秒。把射门、点射这样的活动自动提取出来。例如把平面的书法转化成雕刻图像。以及光影的迁移，把一幅图像中的光影迁移到另外一幅图里面等。
目前这个系统还只是在二维的层次，还没有应用到三维的方面，在这方面的难度非常大。
我们到底从视频图像中可以获得什么呢？主要是从它的模型构建上来思考。首先，图像、视频也好，可以从中获得相机的参数，这是勿庸置疑的。第二是可以获得深度信息、纹理材质信息。第三可以得到光信息和光源，另外还可以得到自然现象的数据和它的物理作用，比如说可视的程度、下雪的影响、对道路的影响等等。
当然，还有就是对象的几何特征和术语、物理特征和数据、行为特征和推演。以及对象之间的交互信息。难点就在流气、柔体、场特征的数据的获取，以及它们之间的交互。
综上所述，能够提取的动作都是非常简单的，稍微复杂就做不了。所以就产生这样几个问题：一个是视频图像中对象的可识别性。上述中谈及分析、识别的问题，计算机识别可以做到和人的识别一样，但是它的这个图像对象的模型化就非常困难。二维的提取分割可以做，如果是三维的就很难做到，因为它可能需要围绕这个场景拍很多的图像，且要了解它的物理模型。目前可以做的就是对速度、碰撞进行捕捉，而要做一个流体的分析难度就非常大。几何模型在计算里表现为一种结构的数据。物理模型是表现为物理定律的算法，而行为模型是一种思维推理的规则，这个和人工智能相关。
二是图像对象之间的可融合性。现在业界很多人提出要搞无缝融合，我觉得真正做到无缝融合是不大可能的。因为它牵涉的东西太多。分辨率、拍照现场光线的强弱、相机参数等因素太多，就和天气预报一样只能相对准确。完全百分之百的准确不大可能实现。解决这方面的问题，一方面要有赖于各种算法，有赖于新型的采录原则与设备。设想如果能够采集到它的物理属性，那这个问题就游刃而解；另一方面就是终端相机，拿着相机把这个人绕一圈，就可以把他的三维模型建出来。然后在计算机里模拟出来。
总之，在这方面可以研究的问题很多，但水也是很深的。所以希望我们这些年轻同志。博士生、研究生可以在这方面进行更加深入的探讨。
大数据的感知与认知
目前，各种各样的数据越来越多，特别是每天都有庞大的视频数据信息产生。同时我们又想在这些里面获得认知。就如看到一张图片，就想马上知道它是什么内容。目前。感知和认知之间有一个很大的鸿沟。感知是在物理世界中，且还有很多的摄像头和传感器等感知设备，而认知是在人的大脑思维里。所以我们希望最大限度地把物理界的感知能够与人类智慧中的认知结合，但这是一个很难、很大的命题。
综合现在的研究现状，以及从长期的研讨结果分析，要解决这一命题有两条途径：一是对生命学科的研究。部分研究生命学科的专家认为计算机不可能做到人类的认知，但还是有很多人在研究，中国科学技术大学生命学院也在对这一领域进行研究，研究视觉感官和大脑处理之间是什么关系，以及得到的认知结论。
通过把视觉传感器采集的数据传送到计算机，再通过某些处理，能够得到一个认知的结论。这是一条途径，但在信息学科里这往往是一个“黑盒模型”，就是想把大脑里是怎么想的，什么输入，什么输出，然后里面大概是什么东西。这是目前在这方面研究的一个状况。
目前中国科学技术大学在搞一个交叉学科的工作，有这么一个探索的思路，有视觉的信息源，做生命科学研究的机构和专家已经有了一些相关的研究，把一些东西给人看，看了之后就研究人的大脑是怎么反应的。因为现在研究大脑的这个东西已经有了很多很好的手段，比方说功能性的磁共振，那个已经可以看到很多大脑里面想的事；再一个就是脑电波的数据信息的提取和研究，这已有了一些手段，我们把这个东西叫做中层媒介。它已经不是一个媒体，不是一个内容的载体。我们把它叫做介质，是一种媒介。然后我们再进行同步的数据采集，就是我这边有这个信息源，然后我眼睛看他的大脑里有什么反应，把它记下来，然后再把这个数据送到计算机里进行大数据的分析，把同时人的眼睛里看的和大脑里想的事，和我计算机里这个算法的内容进行综合的分析，看看能不能得到更高层次的认知的结论，这一点我们把它叫做“白盒模型”，就是说这不是一个黑盒子了，而是可以看到这里面的某些东西了。 中国科学技术大学现在在建一个医学影像中心，已经投入了几千万，在研发一个核磁共振的设备，除了用作医学研究之外，我们也有相关的研究，希望在这个平台上能做一些事情。去年的《自然》杂志上发表了一篇文章，讲的是关于脑电波控制机器臂的事情，就是由人脑控制机器臂操作，这方面的研究已取得了很大的进展，我们希望把这个研究和我们的研究进行结合，希望取得新的一些进展。
关于DARPA的机器人挑战计划，在不同场合也说过，它这个挑战分了很多的项目，可以有很多的团队参加，大家去参加这个比赛，这个比赛分为不同的阶段，大家进行比赛，比赛获得成绩之后，可以得到一定的资助，这样的机制可以调动大家的积极性。它这里面的要点，就是它有一个很大而且难的目标，认知这个问题也是很大很难的。但是它这里面有一个可以调节的。再一个它有很好的裁判规则，它有一个103页的指南，目前已经有了一定的软硬件的积累。提供开源的平台。然后它是开放的。最后就自然形成竞争与合作的平衡，这方面我们可以参考借鉴。
我们在一段时间考虑做协同创新、持续发展。考虑到有些项目做完之后。很多老师前面做了很多工作，做完之后又重新来。积累也不够，所以我们就考虑是不是也制定一个大而难的目标，然后支持多团队研究，建立标准的测试数据集、开源的参考软硬件平台、技术提案验证办法等，然后成果的评审采用开放式的竞赛的形式，然后根据这个竞赛的形式。没有获得支持的团队也可以参加竞赛，最后获得支持。专家组主要是负责监督评价方法的执行，谁好谁坏由这个结果来说话。
视频监控主要技术发展方向
围绕视频监控主要技术的发展方向，主要从三个方面进行阐述：
第一，单独的做内容分析到底是否可行？曾在视频编码、视频传输、视频分析等领域进行过相关研究。也获得并总结了一些经验。如果特别针对最后可以应用的角度，其实辅助信息的有效加入是非常重要的，可能比直线进攻一个最终目标重要得多。在智能视频分析领域有很多专家都有很多独到的观点，我主要从考虑对象的事前、事后，甚至是对它周边环境的约束条件的分析。可能对哪些动作、行为的认知更加重要。这两层面信息应该是最重要的。
第二，在大数据的环境情况下，语言翻译取得了很大的突破。这给我们带来了很大的启示。即如何利用好现有的多源信息，这非常关键，且有利于改进工作方法。我以前学习了传统的方法，第一个学习的方法是各种算法的再现检测，该检测在国内提及的非常少。另外，我们平时接触的技术，如果真论技术本身，还得从检测技术开始，因为那个检测技术可能平时所学的开发技术的一到两个数量级的技术高度。如今我们有了这么多的数据，这些数据到底能帮我们做什么，可在工作方法上进行探索，首先就可以帮我们形成新的研究道路，形成新的研究方法。这个其实在很多图像库的建立过程当中，现在网络社会上都出现了很多新的更有效的办法。
第三，现在有没有更好的信息采集手段？听上去是个偷懒的办法，但却值得好好研究，如果有了更好的信息采集手段，可能我们的视频分析就会有颠覆性的改换。
目前智能视频评测研究的现状如何？现在有很多的评测方法，结合实用性方面，还推出了很多动态的评测方法。现在国际上的智能系统评测项目、标准非常多，名称也非常多，这充分反映了两点：一是方兴未艾，即没有定论也没有绝对的权威；二是国际上的相关标准比较混乱，没有门槛，大家都可以参与制定。我国经常在不同的领域犯同样的错误，各自为政的现象也是非常严重的，各个单位都希望有自己的评估标准，行业也缺乏公认的评估标准。研究机构参与比较多，企业参与比较少。呼吁业界也可以在评估方面做进一步的工作，为这个工作的应用奠定更好的基础。咱们国家现在所有的体系都是只管建房子，不管维护房子。这个特点现在还在不断延续。专家讲了很多视频分析的技术方面的内容，但在评测方面讲得比较少，实际上它是非常重要的。
目前，我们在评测方面的基础还很薄弱，缺乏标准。如果要建立一个评测体系，大量背后的工作、甘当人梯的工作非常多，甚至有很多困难。甚至行业界定有时候都比较困难，应用的场景跨度也比较大，只要牵扯到智能，就没有什么绝对的标准和绝对的顺序。所以要更多地考虑，包括要求较高，扩展性到底怎么样，算法和先验知识能不能有效的分离，以及自动评估的状态怎么样，系统与使用者之间的交互怎么样。是真正做一个可以工作的测评系统所要求的东西，等等。
关于评测思考与对策：第一，意义重大，必须做；第二，呼吁政府支持；第三，产学研联动；第四，充分利用法治社会网络等优势资源。
基于状态感知的视频目标监测与跟踪
基于参与国家的军工项目建设较多，且项目中侦查数据庞大的情况。主要从“基于状态感知的视频目标的跟踪”主题向大家介绍智能视频监控的应用。
通过对运动目标的分析，我们可以分析整个事件。这一领域大家都已经谈及。但这其中有一个技术难点，首先就是噪声大，然后目标类型多，还有场景变化大。特别是在军用方面，该情况更为明显，因为侦查距离非常远，有时在目标要求下，我们做的系统是要求检测目标的大小就是4×4的像素。这是很小的一点。而且对目标进行分类识别。整个目标就30×30个像素那么大，所以难度比较大。而当前运动目标检测有各种各样的方法。很多专家都谈到了一些，总的说来现在存在的问题就是准确性差。存在小目标漏报，噪声环境下误报。以及适应性、稳定性差。对目标跟踪的情况也是类似。当目标比较小，或者目标变形、遮挡等等情况，以及相似物出现时，就会跟丢或是跟到B目标。
针对目前存在的现象和问题，我们认为有两个方面原因：首先是理论上，现在是以像素级特征为主，特征层次较低，不能有效表示图像中的丰富信息；其次是方法上，像素级特征易受背景噪声干扰，对复杂场景、场景变化、不同目标类型的适应性差。所以总的来说，不管现在用什么样的算法。这些算法的实用性还是比较差的。
而在图像内容的表示方面。针对当前存在的问题，做脑认知研究的专家认为我们能很好地把一张图看明白，主要有个两方面原因：一是人的大脑有自下而上的逐级抽象的前反馈，二是有整体性的印象。基于这两方面的认识。我们在研究里把高层特征进行细化，细化成概念特征、属性特征、拓朴结构特征，它可以更准确、充分表达图像的内容。其中，拓朴结构、属性特征起到了承上启下的作用，通过中间两层把它抽象成概念特征。反过来从概念特征这方面，进行目标识别时，就可以在图里面提醒中底层特征。而不是简单的把整个图的特征都分析一遍，这样的做法能够为高层特征与中底层特征的联系奠定一定的基础。 有了这个原理。我们就可以做对运动目标的检测与跟踪。对运动目标检测有很多难点。比如说在天气环境恶劣的情况下，它要不受环境的影响，因为检测的目标都非常小。距离远时，它的运动很慢，基本上没有感觉，在这种情况下就需要准确的检测。此外，就是对动作的检测。如树枝晃动时要避免误报；对其它的情况。如对人、车在树丛里面穿行，还要准确的报出，这就使得这个系统的建立难度非常大。
针对这一问题。我们提出基于场景区域感知的运动目标检测算法。它的思路是根据场景的变化，如树丛、人的运动以及车流的情况，把不同的运动分成不同的区域。分成不同区域之后，在对目标进行检测时，就可把区域的特征应用进去，而不是简单地就用从图像里面抽出来的特征。通过这一方法，可以把比较小的目标的活动情况进行很好的检测。把这些应用在实际智能视频监控系统中，对目前这种室外的复杂场景，有比较好的抗干扰功能。实现准确的目标检测。
最后是基于状态感知的目标跟踪。目标跟踪需要适应目标被遮挡、形变、噪声干扰、光照变化、相似物干扰等复杂情况。要做好这一跟踪。我们认为有两个方面的要做好。第一是找到跟踪目标。事实上我们在大街上要跟踪一个人，要明确目标。看清他的特征。当然这个特征还会有变化，比如一个穿迷彩服的军人在大街上很容易被认出来，但如果是一群军人穿着迷彩服，或是他到了树林里，那这个迷彩服就不是一个明显的特征，所以这个特征在不同的环境有不同的变化。第二是需要构建反映状态变化的特征。同时要动态确定目标状态。我们就把这个运动状态分了几种不同的状态，确定了状态之后，在不同的状态下，用不同的特征来做这个事，这样的好处就是把状态的姿势应用进去了。
目前，我们讨论得更多的是视频监控设备花了这么多钱该怎么好用，怎么为我们智慧城市服务。实际上目标在不断地变化，因此我们现在是要围绕好用谈事。
视频监控的智能化发展与应用之路
从技术项目管理的角度谈三个方面的问题，一是基础研究的重要性；二是国家自然科学基金委信息学院已立和拟立项的重大计划；三是跟专家说一点鼓励的话，走自己成功的路。
一、基础研究的重要性。按技术革命来说，现在是第三次工业革命，我们现在将要面临第四波的技术革命。纺织技术、蒸汽技术是第一次，电力技术是第二次，信息技术是第三次。近代中国，老是错过技术革命的机遇，从一个经济强国沦为一个既贫既弱的国家，改革开放以来我国技术水平有了特别大的提高，但能否抓住第四次技术革命中的各个战略机遇成功跃升，实现强国梦，将是国家的发展关键。第四次革命是包括生活技术、材料技术等等融合交叉的技术革命。
目前，我国的经济发展到了转型期，需要自主知识产权的技术来支撑。且现在缺乏的正好是这样的东西。经济发展到目前这个水平，主要的贡献是工人、农民，知识分子的高技术劳动在技术、产品的研发等方面，目前还没有得到太多的体现。当然基础不牢。天动地摇。当今世界综合国力的竞争已经前移到基础领域。谁掌握了基础领域，谁就走在了世界的前列。
二、学会已经立项和准备立项的重大研究计划。在国家自然科学基金委员会已经立项的研究计划中，有一个“视听觉信息的认知计算”重大研究计划。本重大研究计划以无人驾驶车辆、脑—机接口等为物理载体，围绕“视听觉感知特征提取、表达与整合”、“视听觉感知数据理解的认知机理”和“脑信号提取、脑区定位和功能分析”等核心科学问题，着重组织并实施。截至目前，我们已经成功组织了4次“中国智能车未来挑战赛”。此次中国工程院提出组织全国性的智能视频分析技术评测与竞赛，是非常重要的。在基础研究领域，谁也说服不了谁，如有人做一个研究，别人会说那个研究没有意义，他10年前就做。但是其中的问题就在于早就做了但一直没有应用，这能做和做好是两回事。再比如在开展“中国智能车未来挑战赛”之前。有部分专家表示他在这一领域做得很好且有很多年的研究，无人驾驶车可以跑80公里。但他忘了这80公里只是偶然的一个记录，就把它定为这个结果。相比国外的研究，是通过跑100次，都以80公里作为评测结果。在我们组织的比赛中，有车队的无人驾驶车跑了500米，但由于车老往马路牙子上跑，最后车队选择自动退出。因为在科学研究上不要说做得多早，而是要看做的结果。
目前，国家自然科学基金委员会还有准备建立一个重大研究计划——“空天地网络一体化基础研究”，该计划包括时空一致性，动态组网的科学和技术问题，以及海量信息怎么样传输和处理、利用的问题。这跟视频信息相关，比如说雷达信息、光技术成像信息。
第三，给大家说点鼓励的话，走自己成功的路。我国的科学家都有非常好的理论基础，考试成绩也相当不错，但我们经常是考试考过来的，有时不知道自己究竟善于做什么，所以要充分认识自己，扬长避短，走自己成功的路。中国工程院李德毅院士说“成功意味着选择”，确实成功不是你的能力大小，而是你选择的方向好不好，选择的是否适合做，适合就更容易成功。所以选择什么。如何做，非常重要。希望大家认知自己的长处。做有自己特色的创新性研究工作。
此外，在做科学技术研究的过程中。要合理分工与良好的协作，这很重要。从不同性质的信息科学基础研究中提炼出科学问题，用科学家的方言加以表达，对项目的成功申请及科研成果，得到其它领域基础科学研究同行的认可非常重要。
在此背景下，2013年3月24日举办的“智慧城市中的视频分析与评测”论坛中特设置了“专题互动”环节。该环节以圆桌论坛的形式：业内专家发表观点并与场内观众互动，对我国智慧城市建设过程中人工智能应用的问题与挑战进行了探讨、分析与求解。本刊对此进行了全面报道。
智能视频监控之虚拟现实技术
虚拟现实环境可以使用户产生等同于真实环境的体验。因此虚拟现实环境首先要构建模型。虚拟环境主要是靠一些图形来实现，它的数据主要来源于三个方面，一是人在机器上构建，像几何模型，由人依靠一些软件工具来构建；二是数学的方法，物理模型要通过一些数学的方程、算法。来产生一些物理的动态的感觉；三是通过数据。这些数据是直接采集的，包括照片、视频、图像，来构建三维模型。
现在视频资源越来越丰富，这是一个构建虚拟环境非常重要的数据来源，而且用图像构建的虚拟环境，逼真度非常高，但在三维特征及交互方面相对较弱。
怎么从图像上获取数据，得到图像当中的对象，通过单幅或者多幅的图像，把它进行模型化，这是一个值得探讨的方向。过去有人研究基于图像的建模，也就是基于图像的虚拟现实环境的技术。北京航空航天大学在这方面也做了一些尝试，构建了一个基于视频图像的素材来生成虚拟场景，包括场景对象的编辑、内容标注等基本内容，基础的就是结构分析、场景分割、场景分层等基本的图像处理。这个系统可以把一幅视频里面的人像抠下来，把它嵌入另外一个场景中，这在影视制作的后期中已经有应用。同时，还可以把一场足球赛的视频自动压缩成40多秒。把射门、点射这样的活动自动提取出来。例如把平面的书法转化成雕刻图像。以及光影的迁移，把一幅图像中的光影迁移到另外一幅图里面等。
目前这个系统还只是在二维的层次，还没有应用到三维的方面，在这方面的难度非常大。
我们到底从视频图像中可以获得什么呢？主要是从它的模型构建上来思考。首先，图像、视频也好，可以从中获得相机的参数，这是勿庸置疑的。第二是可以获得深度信息、纹理材质信息。第三可以得到光信息和光源，另外还可以得到自然现象的数据和它的物理作用，比如说可视的程度、下雪的影响、对道路的影响等等。
当然，还有就是对象的几何特征和术语、物理特征和数据、行为特征和推演。以及对象之间的交互信息。难点就在流气、柔体、场特征的数据的获取，以及它们之间的交互。
综上所述，能够提取的动作都是非常简单的，稍微复杂就做不了。所以就产生这样几个问题：一个是视频图像中对象的可识别性。上述中谈及分析、识别的问题，计算机识别可以做到和人的识别一样，但是它的这个图像对象的模型化就非常困难。二维的提取分割可以做，如果是三维的就很难做到，因为它可能需要围绕这个场景拍很多的图像，且要了解它的物理模型。目前可以做的就是对速度、碰撞进行捕捉，而要做一个流体的分析难度就非常大。几何模型在计算里表现为一种结构的数据。物理模型是表现为物理定律的算法，而行为模型是一种思维推理的规则，这个和人工智能相关。
二是图像对象之间的可融合性。现在业界很多人提出要搞无缝融合，我觉得真正做到无缝融合是不大可能的。因为它牵涉的东西太多。分辨率、拍照现场光线的强弱、相机参数等因素太多，就和天气预报一样只能相对准确。完全百分之百的准确不大可能实现。解决这方面的问题，一方面要有赖于各种算法，有赖于新型的采录原则与设备。设想如果能够采集到它的物理属性，那这个问题就游刃而解；另一方面就是终端相机，拿着相机把这个人绕一圈，就可以把他的三维模型建出来。然后在计算机里模拟出来。
总之，在这方面可以研究的问题很多，但水也是很深的。所以希望我们这些年轻同志。博士生、研究生可以在这方面进行更加深入的探讨。
大数据的感知与认知
目前，各种各样的数据越来越多，特别是每天都有庞大的视频数据信息产生。同时我们又想在这些里面获得认知。就如看到一张图片，就想马上知道它是什么内容。目前。感知和认知之间有一个很大的鸿沟。感知是在物理世界中，且还有很多的摄像头和传感器等感知设备，而认知是在人的大脑思维里。所以我们希望最大限度地把物理界的感知能够与人类智慧中的认知结合，但这是一个很难、很大的命题。
综合现在的研究现状，以及从长期的研讨结果分析，要解决这一命题有两条途径：一是对生命学科的研究。部分研究生命学科的专家认为计算机不可能做到人类的认知，但还是有很多人在研究，中国科学技术大学生命学院也在对这一领域进行研究，研究视觉感官和大脑处理之间是什么关系，以及得到的认知结论。
通过把视觉传感器采集的数据传送到计算机，再通过某些处理，能够得到一个认知的结论。这是一条途径，但在信息学科里这往往是一个“黑盒模型”，就是想把大脑里是怎么想的，什么输入，什么输出，然后里面大概是什么东西。这是目前在这方面研究的一个状况。
目前中国科学技术大学在搞一个交叉学科的工作，有这么一个探索的思路，有视觉的信息源，做生命科学研究的机构和专家已经有了一些相关的研究，把一些东西给人看，看了之后就研究人的大脑是怎么反应的。因为现在研究大脑的这个东西已经有了很多很好的手段，比方说功能性的磁共振，那个已经可以看到很多大脑里面想的事；再一个就是脑电波的数据信息的提取和研究，这已有了一些手段，我们把这个东西叫做中层媒介。它已经不是一个媒体，不是一个内容的载体。我们把它叫做介质，是一种媒介。然后我们再进行同步的数据采集，就是我这边有这个信息源，然后我眼睛看他的大脑里有什么反应，把它记下来，然后再把这个数据送到计算机里进行大数据的分析，把同时人的眼睛里看的和大脑里想的事，和我计算机里这个算法的内容进行综合的分析，看看能不能得到更高层次的认知的结论，这一点我们把它叫做“白盒模型”，就是说这不是一个黑盒子了，而是可以看到这里面的某些东西了。 中国科学技术大学现在在建一个医学影像中心，已经投入了几千万，在研发一个核磁共振的设备，除了用作医学研究之外，我们也有相关的研究，希望在这个平台上能做一些事情。去年的《自然》杂志上发表了一篇文章，讲的是关于脑电波控制机器臂的事情，就是由人脑控制机器臂操作，这方面的研究已取得了很大的进展，我们希望把这个研究和我们的研究进行结合，希望取得新的一些进展。
关于DARPA的机器人挑战计划，在不同场合也说过，它这个挑战分了很多的项目，可以有很多的团队参加，大家去参加这个比赛，这个比赛分为不同的阶段，大家进行比赛，比赛获得成绩之后，可以得到一定的资助，这样的机制可以调动大家的积极性。它这里面的要点，就是它有一个很大而且难的目标，认知这个问题也是很大很难的。但是它这里面有一个可以调节的。再一个它有很好的裁判规则，它有一个103页的指南，目前已经有了一定的软硬件的积累。提供开源的平台。然后它是开放的。最后就自然形成竞争与合作的平衡，这方面我们可以参考借鉴。
我们在一段时间考虑做协同创新、持续发展。考虑到有些项目做完之后。很多老师前面做了很多工作，做完之后又重新来。积累也不够，所以我们就考虑是不是也制定一个大而难的目标，然后支持多团队研究，建立标准的测试数据集、开源的参考软硬件平台、技术提案验证办法等，然后成果的评审采用开放式的竞赛的形式，然后根据这个竞赛的形式。没有获得支持的团队也可以参加竞赛，最后获得支持。专家组主要是负责监督评价方法的执行，谁好谁坏由这个结果来说话。
视频监控主要技术发展方向
围绕视频监控主要技术的发展方向，主要从三个方面进行阐述：
第一，单独的做内容分析到底是否可行？曾在视频编码、视频传输、视频分析等领域进行过相关研究。也获得并总结了一些经验。如果特别针对最后可以应用的角度，其实辅助信息的有效加入是非常重要的，可能比直线进攻一个最终目标重要得多。在智能视频分析领域有很多专家都有很多独到的观点，我主要从考虑对象的事前、事后，甚至是对它周边环境的约束条件的分析。可能对哪些动作、行为的认知更加重要。这两层面信息应该是最重要的。
第二，在大数据的环境情况下，语言翻译取得了很大的突破。这给我们带来了很大的启示。即如何利用好现有的多源信息，这非常关键，且有利于改进工作方法。我以前学习了传统的方法，第一个学习的方法是各种算法的再现检测，该检测在国内提及的非常少。另外，我们平时接触的技术，如果真论技术本身，还得从检测技术开始，因为那个检测技术可能平时所学的开发技术的一到两个数量级的技术高度。如今我们有了这么多的数据，这些数据到底能帮我们做什么，可在工作方法上进行探索，首先就可以帮我们形成新的研究道路，形成新的研究方法。这个其实在很多图像库的建立过程当中，现在网络社会上都出现了很多新的更有效的办法。
第三，现在有没有更好的信息采集手段？听上去是个偷懒的办法，但却值得好好研究，如果有了更好的信息采集手段，可能我们的视频分析就会有颠覆性的改换。
目前智能视频评测研究的现状如何？现在有很多的评测方法，结合实用性方面，还推出了很多动态的评测方法。现在国际上的智能系统评测项目、标准非常多，名称也非常多，这充分反映了两点：一是方兴未艾，即没有定论也没有绝对的权威；二是国际上的相关标准比较混乱，没有门槛，大家都可以参与制定。我国经常在不同的领域犯同样的错误，各自为政的现象也是非常严重的，各个单位都希望有自己的评估标准，行业也缺乏公认的评估标准。研究机构参与比较多，企业参与比较少。呼吁业界也可以在评估方面做进一步的工作，为这个工作的应用奠定更好的基础。咱们国家现在所有的体系都是只管建房子，不管维护房子。这个特点现在还在不断延续。专家讲了很多视频分析的技术方面的内容，但在评测方面讲得比较少，实际上它是非常重要的。
目前，我们在评测方面的基础还很薄弱，缺乏标准。如果要建立一个评测体系，大量背后的工作、甘当人梯的工作非常多，甚至有很多困难。甚至行业界定有时候都比较困难，应用的场景跨度也比较大，只要牵扯到智能，就没有什么绝对的标准和绝对的顺序。所以要更多地考虑，包括要求较高，扩展性到底怎么样，算法和先验知识能不能有效的分离，以及自动评估的状态怎么样，系统与使用者之间的交互怎么样。是真正做一个可以工作的测评系统所要求的东西，等等。
关于评测思考与对策：第一，意义重大，必须做；第二，呼吁政府支持；第三，产学研联动；第四，充分利用法治社会网络等优势资源。
基于状态感知的视频目标监测与跟踪
基于参与国家的军工项目建设较多，且项目中侦查数据庞大的情况。主要从“基于状态感知的视频目标的跟踪”主题向大家介绍智能视频监控的应用。
通过对运动目标的分析，我们可以分析整个事件。这一领域大家都已经谈及。但这其中有一个技术难点，首先就是噪声大，然后目标类型多，还有场景变化大。特别是在军用方面，该情况更为明显，因为侦查距离非常远，有时在目标要求下，我们做的系统是要求检测目标的大小就是4×4的像素。这是很小的一点。而且对目标进行分类识别。整个目标就30×30个像素那么大，所以难度比较大。而当前运动目标检测有各种各样的方法。很多专家都谈到了一些，总的说来现在存在的问题就是准确性差。存在小目标漏报，噪声环境下误报。以及适应性、稳定性差。对目标跟踪的情况也是类似。当目标比较小，或者目标变形、遮挡等等情况，以及相似物出现时，就会跟丢或是跟到B目标。
针对目前存在的现象和问题，我们认为有两个方面原因：首先是理论上，现在是以像素级特征为主，特征层次较低，不能有效表示图像中的丰富信息；其次是方法上，像素级特征易受背景噪声干扰，对复杂场景、场景变化、不同目标类型的适应性差。所以总的来说，不管现在用什么样的算法。这些算法的实用性还是比较差的。
而在图像内容的表示方面。针对当前存在的问题，做脑认知研究的专家认为我们能很好地把一张图看明白，主要有个两方面原因：一是人的大脑有自下而上的逐级抽象的前反馈，二是有整体性的印象。基于这两方面的认识。我们在研究里把高层特征进行细化，细化成概念特征、属性特征、拓朴结构特征，它可以更准确、充分表达图像的内容。其中，拓朴结构、属性特征起到了承上启下的作用，通过中间两层把它抽象成概念特征。反过来从概念特征这方面，进行目标识别时，就可以在图里面提醒中底层特征。而不是简单的把整个图的特征都分析一遍，这样的做法能够为高层特征与中底层特征的联系奠定一定的基础。 有了这个原理。我们就可以做对运动目标的检测与跟踪。对运动目标检测有很多难点。比如说在天气环境恶劣的情况下，它要不受环境的影响，因为检测的目标都非常小。距离远时，它的运动很慢，基本上没有感觉，在这种情况下就需要准确的检测。此外，就是对动作的检测。如树枝晃动时要避免误报；对其它的情况。如对人、车在树丛里面穿行，还要准确的报出，这就使得这个系统的建立难度非常大。
针对这一问题。我们提出基于场景区域感知的运动目标检测算法。它的思路是根据场景的变化，如树丛、人的运动以及车流的情况，把不同的运动分成不同的区域。分成不同区域之后，在对目标进行检测时，就可把区域的特征应用进去，而不是简单地就用从图像里面抽出来的特征。通过这一方法，可以把比较小的目标的活动情况进行很好的检测。把这些应用在实际智能视频监控系统中，对目前这种室外的复杂场景，有比较好的抗干扰功能。实现准确的目标检测。
最后是基于状态感知的目标跟踪。目标跟踪需要适应目标被遮挡、形变、噪声干扰、光照变化、相似物干扰等复杂情况。要做好这一跟踪。我们认为有两个方面的要做好。第一是找到跟踪目标。事实上我们在大街上要跟踪一个人，要明确目标。看清他的特征。当然这个特征还会有变化，比如一个穿迷彩服的军人在大街上很容易被认出来，但如果是一群军人穿着迷彩服，或是他到了树林里，那这个迷彩服就不是一个明显的特征，所以这个特征在不同的环境有不同的变化。第二是需要构建反映状态变化的特征。同时要动态确定目标状态。我们就把这个运动状态分了几种不同的状态，确定了状态之后，在不同的状态下，用不同的特征来做这个事，这样的好处就是把状态的姿势应用进去了。
目前，我们讨论得更多的是视频监控设备花了这么多钱该怎么好用，怎么为我们智慧城市服务。实际上目标在不断地变化，因此我们现在是要围绕好用谈事。
视频监控的智能化发展与应用之路
从技术项目管理的角度谈三个方面的问题，一是基础研究的重要性；二是国家自然科学基金委信息学院已立和拟立项的重大计划；三是跟专家说一点鼓励的话，走自己成功的路。
一、基础研究的重要性。按技术革命来说，现在是第三次工业革命，我们现在将要面临第四波的技术革命。纺织技术、蒸汽技术是第一次，电力技术是第二次，信息技术是第三次。近代中国，老是错过技术革命的机遇，从一个经济强国沦为一个既贫既弱的国家，改革开放以来我国技术水平有了特别大的提高，但能否抓住第四次技术革命中的各个战略机遇成功跃升，实现强国梦，将是国家的发展关键。第四次革命是包括生活技术、材料技术等等融合交叉的技术革命。
目前，我国的经济发展到了转型期，需要自主知识产权的技术来支撑。且现在缺乏的正好是这样的东西。经济发展到目前这个水平，主要的贡献是工人、农民，知识分子的高技术劳动在技术、产品的研发等方面，目前还没有得到太多的体现。当然基础不牢。天动地摇。当今世界综合国力的竞争已经前移到基础领域。谁掌握了基础领域，谁就走在了世界的前列。
二、学会已经立项和准备立项的重大研究计划。在国家自然科学基金委员会已经立项的研究计划中，有一个“视听觉信息的认知计算”重大研究计划。本重大研究计划以无人驾驶车辆、脑—机接口等为物理载体，围绕“视听觉感知特征提取、表达与整合”、“视听觉感知数据理解的认知机理”和“脑信号提取、脑区定位和功能分析”等核心科学问题，着重组织并实施。截至目前，我们已经成功组织了4次“中国智能车未来挑战赛”。此次中国工程院提出组织全国性的智能视频分析技术评测与竞赛，是非常重要的。在基础研究领域，谁也说服不了谁，如有人做一个研究，别人会说那个研究没有意义，他10年前就做。但是其中的问题就在于早就做了但一直没有应用，这能做和做好是两回事。再比如在开展“中国智能车未来挑战赛”之前。有部分专家表示他在这一领域做得很好且有很多年的研究，无人驾驶车可以跑80公里。但他忘了这80公里只是偶然的一个记录，就把它定为这个结果。相比国外的研究，是通过跑100次，都以80公里作为评测结果。在我们组织的比赛中，有车队的无人驾驶车跑了500米，但由于车老往马路牙子上跑，最后车队选择自动退出。因为在科学研究上不要说做得多早，而是要看做的结果。
目前，国家自然科学基金委员会还有准备建立一个重大研究计划——“空天地网络一体化基础研究”，该计划包括时空一致性，动态组网的科学和技术问题，以及海量信息怎么样传输和处理、利用的问题。这跟视频信息相关，比如说雷达信息、光技术成像信息。
第三，给大家说点鼓励的话，走自己成功的路。我国的科学家都有非常好的理论基础，考试成绩也相当不错，但我们经常是考试考过来的，有时不知道自己究竟善于做什么，所以要充分认识自己，扬长避短，走自己成功的路。中国工程院李德毅院士说“成功意味着选择”，确实成功不是你的能力大小，而是你选择的方向好不好，选择的是否适合做，适合就更容易成功。所以选择什么。如何做，非常重要。希望大家认知自己的长处。做有自己特色的创新性研究工作。
此外，在做科学技术研究的过程中。要合理分工与良好的协作，这很重要。从不同性质的信息科学基础研究中提炼出科学问题，用科学家的方言加以表达，对项目的成功申请及科研成果，得到其它领域基础科学研究同行的认可非常重要。