论文部分内容阅读
视频摘要作为图像智能处理技术的最新发展成果，以自动或半自动的方式，通过对视频图像的结构和内容进行分析，从视频图像中提取出有意义的部分，并对其进行重新组合，使用户在一定时间内获得目标视频的最大信息量，或者在最短时间内获得充分的信息。因而，在各类视频图像应用系统当中扮演着越来越重要的角色。
大唐电信集团基于最先进的图像智能技术研究成果推出的视频摘要网络平台，可以有效地解决各类视频图像应用系统所普遍面临的视频图像回放查看慢、图像信息提取困难、图像数据的非结构化特点与信息系统集成应用困难等技术难题。
1 技术原理
基于原始视频图像，对图像的背景和活动目标进行分离，产生一个由静态背景和动态目标（也称物件）组成的图像信息数据库，以时间浓缩的形式对背景与动态目标进行重新组合，达到缩短视频录像回放时间的目的。
具体浓缩的比例根据场景复杂度和用户设定而定，通常可以实现将24小时视频浓缩到15分钟左右的处理效果，在某些活动目标相对较少的场景，如飞机起飞跑道，可以将24小时的视频浓缩到1分钟，浓缩比可达1000多倍。
视频摘要主要包括目标识别和数据合成两个主要处理过程（如图1所示）。其中目标识别过程主要包括四个步骤：提取背景，提取物件，追踪物件和追踪群组；数据合成过程主要包括两个步骤：群组排序和单帧合成。
最终生成的视频数据可通过结构化图像信息文件形式或视频摘要数据流的形式进行存储，实现对视频数据的结构化存储，方便用户进行查询和检索。
2 主要功能
主要功能包括：视频摘要处理、摘要及原始图像管理、摘要参数配置、处理任务资源管理及系统管理，以及开放接口等。
视频频摘要处理，主要包括视频实时数据及路线数据获取、格式适配转换、摘要处理、图像信息结构化分析、信息标识、摘要参数设置等功能。 摘要视频及原始图像管理，主要包括图像合成、摘要视频播放、原始录像回溯、视频特征搜索、语意检索、视频图像片段截取、数据输出与转发等功能。
3 四大技术特点
一是能大幅提高海量视频图像资源查看效能。对海量视频录像或实时图像进行视频摘要处理，能够大幅度的提高录像倒查的效率，减少人力、物力的投入。
二是视频关键特征搜索。运用视频特征，如运动方向、目标颜色、所处区域等搜索过滤功能，能够进一步对提高查找关注案事件图像片段的效率，准确定位事件发生时间，快速挖掘关注事件。
三是结构化视频图像数据保存。对视频图像的摘要分析，并进行结构化处理和结构化保存，在大幅度提高查看效率的同时，又能大幅度的减少存储空间，实现对时间和空间的双重高效利用。
四是集中授权、分级控制、分布式处理。与虚拟化服务的云计算技术相结合，实现视频摘要分析处理的分布处理和集中应用管理，提高图像摘要处理的效率和综合应用能力。
4 技术应用方向
海量视频图像数据化
适用于将视频图像信息转换为文本数据信息、从原始视频录像提取有价值视频数据等视频图像的结构化处理，使视频图像数据与其各类信息业务系统形成深度融合应用。
批量数据内容搜索
适用于各类视频图像资源的实时摘要处理、视频录像摘要分析、视频图像存储数据资料的浓缩、视频图像内容特征过滤与语义分析、视频目标识别与智能检索等应用领域。
公安图侦实战应用
在公安图侦实战应用领域，视频摘要技术可以大幅缩短案事件图像的回放查看时间，可以快速定位目标视频和目标对象，可以标识和过滤关注目标，导出关键性视频图像证据片段，将图像进行结构化处理后与公安警综、大情报等案事件侦查信息系统形成无缝对接和智能应用，有效提高公安侦查业务的科技水平，减轻警务公安人员的劳动强度和工作压力。
5 实战案例
以近期引起社会广泛关注的长春盗车掐死婴儿案件为例，虽然案发城市建有大规模的视频监控系统，但是面对案件可能相关的海量视频，全部通过人工检索方式查找嫌疑车辆的效率低下，即使警方动用了大量人员参与录像查看，仍未能及时查找到有效信息。在此案件中传统大规模视频监控系统暴露出了严重的缺陷，也引起了社会各界对其实战能力的广泛质疑。
视频摘要网络平台在设计过程中充分考虑了公安部门的实战需求，与大规模视频监控系统的结合将有效解决现有系统视频图像回放查看慢、图像信息提取困难等问题，具体应用过程如下：
（1）调取案发地点周边所有道路附近的视频监控录像作为原始视频资源，时间范围设定在案发前30分钟至案发后2小时，假定共有可用图像1000路，则原始视频资源时长为1000（路）×2.5（小时）=2500小时。
（2）获取被盗车辆外观信息，如车辆颜色、车辆型号、外形尺寸范围、车牌号、前风挡玻璃粘贴物颜色大小等可视特征。
（3）将被盗车辆外观信息作为检索条件输入视频摘要网络平台，由平台根据这些检索条件对原始视频资源进行自动处理，快速检索出包含类似被盗车辆的视频片段并以视频摘要数据流的方式存储，为提高处理速度可采用由多台服务器构成的云计算平台进行分布式联机检索。
（4）由多名侦查员对少量视频摘要数据流进行人工查看，锁定重点可疑车辆，并将分析出的通行时间范围、可能通行方向作为检索条件再次输入视频摘要网络平台，将已有视频摘要数据流作为原始视频源进行二次检索，输出更精确的视频摘要数据流。
（5）再次人工查看，逐步锁定嫌疑车辆，通过视频摘要网络平台过滤出其所有运行轨迹，作为有效破案线索。
（6）除了对录像进行摘要分析，还可以将锁定的嫌疑车辆特征信息输入视频摘要网络平台，对该车辆可能通行路线上的实时监控画面进行同步分析，有符合特征车辆通过时系统将自动报警提示，在第一时间自动锁定嫌疑车辆。
检索速度对比
以首次录像检索为例，假定将全部录像浏览一遍。
采用传统人工检索方式：由200名警员同时查找可疑车辆信息需要2500÷200=12.5小时。
采用视频摘要网络平台：单台服务器对24小时原始视频资源的处理时长约为10分钟，假定基于30台服务器构成的云计算平台联机检索，2500小时原始视频资源处理时间约为2500÷（30×24÷10）=34.72分钟，摘要数据量可压缩到原始视频资源的百分之一左右，即25小时，由200名警员同时查找可疑车辆信息需要7.5分钟，即以视频摘要网络平台完成首次录像检索所需全部时长为34.72+7.5=42.22分钟，相比人工检索方式，节约时间11.8小时。
在紧急事件、重大案件发生时，时间就是生命、每节约一分钟都是十分珍贵的，节约11.8小时意味着有更多的机会挽救生命、制止犯罪、防止事态扩大，事实证明视频摘要网络平台可实现对传统大规模视频监控系统性能的巨大提升，具有重大的实战价值。
图像识别技术的商业化应用
2012年8月，韩国SK集团旗下的SK电讯率先将面部识别技术应用于户外广告领域。据了解，SK电讯是通过在新一代数字户外广告牌上按照高清摄像头，扫描和拍摄周围10米内的面孔，分析数百个从面部提取的特征，进行性别（男/女）和年龄（幼儿/儿童/青年/中年/老年）分类，进而通过中央服务器对数据进行统一处理，将关注广告牌的消费者性别年龄数据提供给广告商。该服务可以大大提升广告曝光和到达的精确度、测定广告效果，从而帮助广告商改进升级广告内容，加强传播效果。
目前，SK电讯正积极进行图像分析技术的系统开发，包括海岸、山地等偏远地区的监控系统、车栽红外线摄像头等，希望将图像分析技术向安保、汽车、医疗等更广阔的产业领域普及。
大唐电信集团基于最先进的图像智能技术研究成果推出的视频摘要网络平台，可以有效地解决各类视频图像应用系统所普遍面临的视频图像回放查看慢、图像信息提取困难、图像数据的非结构化特点与信息系统集成应用困难等技术难题。
1 技术原理
基于原始视频图像，对图像的背景和活动目标进行分离，产生一个由静态背景和动态目标（也称物件）组成的图像信息数据库，以时间浓缩的形式对背景与动态目标进行重新组合，达到缩短视频录像回放时间的目的。
具体浓缩的比例根据场景复杂度和用户设定而定，通常可以实现将24小时视频浓缩到15分钟左右的处理效果，在某些活动目标相对较少的场景，如飞机起飞跑道，可以将24小时的视频浓缩到1分钟，浓缩比可达1000多倍。
视频摘要主要包括目标识别和数据合成两个主要处理过程（如图1所示）。其中目标识别过程主要包括四个步骤：提取背景，提取物件，追踪物件和追踪群组；数据合成过程主要包括两个步骤：群组排序和单帧合成。
最终生成的视频数据可通过结构化图像信息文件形式或视频摘要数据流的形式进行存储，实现对视频数据的结构化存储，方便用户进行查询和检索。
2 主要功能
主要功能包括：视频摘要处理、摘要及原始图像管理、摘要参数配置、处理任务资源管理及系统管理，以及开放接口等。
视频频摘要处理，主要包括视频实时数据及路线数据获取、格式适配转换、摘要处理、图像信息结构化分析、信息标识、摘要参数设置等功能。 摘要视频及原始图像管理，主要包括图像合成、摘要视频播放、原始录像回溯、视频特征搜索、语意检索、视频图像片段截取、数据输出与转发等功能。
3 四大技术特点
一是能大幅提高海量视频图像资源查看效能。对海量视频录像或实时图像进行视频摘要处理，能够大幅度的提高录像倒查的效率，减少人力、物力的投入。
二是视频关键特征搜索。运用视频特征，如运动方向、目标颜色、所处区域等搜索过滤功能，能够进一步对提高查找关注案事件图像片段的效率，准确定位事件发生时间，快速挖掘关注事件。
三是结构化视频图像数据保存。对视频图像的摘要分析，并进行结构化处理和结构化保存，在大幅度提高查看效率的同时，又能大幅度的减少存储空间，实现对时间和空间的双重高效利用。
四是集中授权、分级控制、分布式处理。与虚拟化服务的云计算技术相结合，实现视频摘要分析处理的分布处理和集中应用管理，提高图像摘要处理的效率和综合应用能力。
4 技术应用方向
海量视频图像数据化
适用于将视频图像信息转换为文本数据信息、从原始视频录像提取有价值视频数据等视频图像的结构化处理，使视频图像数据与其各类信息业务系统形成深度融合应用。
批量数据内容搜索
适用于各类视频图像资源的实时摘要处理、视频录像摘要分析、视频图像存储数据资料的浓缩、视频图像内容特征过滤与语义分析、视频目标识别与智能检索等应用领域。
公安图侦实战应用
在公安图侦实战应用领域，视频摘要技术可以大幅缩短案事件图像的回放查看时间，可以快速定位目标视频和目标对象，可以标识和过滤关注目标，导出关键性视频图像证据片段，将图像进行结构化处理后与公安警综、大情报等案事件侦查信息系统形成无缝对接和智能应用，有效提高公安侦查业务的科技水平，减轻警务公安人员的劳动强度和工作压力。
5 实战案例
以近期引起社会广泛关注的长春盗车掐死婴儿案件为例，虽然案发城市建有大规模的视频监控系统，但是面对案件可能相关的海量视频，全部通过人工检索方式查找嫌疑车辆的效率低下，即使警方动用了大量人员参与录像查看，仍未能及时查找到有效信息。在此案件中传统大规模视频监控系统暴露出了严重的缺陷，也引起了社会各界对其实战能力的广泛质疑。
视频摘要网络平台在设计过程中充分考虑了公安部门的实战需求，与大规模视频监控系统的结合将有效解决现有系统视频图像回放查看慢、图像信息提取困难等问题，具体应用过程如下：
（1）调取案发地点周边所有道路附近的视频监控录像作为原始视频资源，时间范围设定在案发前30分钟至案发后2小时，假定共有可用图像1000路，则原始视频资源时长为1000（路）×2.5（小时）=2500小时。
（2）获取被盗车辆外观信息，如车辆颜色、车辆型号、外形尺寸范围、车牌号、前风挡玻璃粘贴物颜色大小等可视特征。
（3）将被盗车辆外观信息作为检索条件输入视频摘要网络平台，由平台根据这些检索条件对原始视频资源进行自动处理，快速检索出包含类似被盗车辆的视频片段并以视频摘要数据流的方式存储，为提高处理速度可采用由多台服务器构成的云计算平台进行分布式联机检索。
（4）由多名侦查员对少量视频摘要数据流进行人工查看，锁定重点可疑车辆，并将分析出的通行时间范围、可能通行方向作为检索条件再次输入视频摘要网络平台，将已有视频摘要数据流作为原始视频源进行二次检索，输出更精确的视频摘要数据流。
（5）再次人工查看，逐步锁定嫌疑车辆，通过视频摘要网络平台过滤出其所有运行轨迹，作为有效破案线索。
（6）除了对录像进行摘要分析，还可以将锁定的嫌疑车辆特征信息输入视频摘要网络平台，对该车辆可能通行路线上的实时监控画面进行同步分析，有符合特征车辆通过时系统将自动报警提示，在第一时间自动锁定嫌疑车辆。
检索速度对比
以首次录像检索为例，假定将全部录像浏览一遍。
采用传统人工检索方式：由200名警员同时查找可疑车辆信息需要2500÷200=12.5小时。
采用视频摘要网络平台：单台服务器对24小时原始视频资源的处理时长约为10分钟，假定基于30台服务器构成的云计算平台联机检索，2500小时原始视频资源处理时间约为2500÷（30×24÷10）=34.72分钟，摘要数据量可压缩到原始视频资源的百分之一左右，即25小时，由200名警员同时查找可疑车辆信息需要7.5分钟，即以视频摘要网络平台完成首次录像检索所需全部时长为34.72+7.5=42.22分钟，相比人工检索方式，节约时间11.8小时。
在紧急事件、重大案件发生时，时间就是生命、每节约一分钟都是十分珍贵的，节约11.8小时意味着有更多的机会挽救生命、制止犯罪、防止事态扩大，事实证明视频摘要网络平台可实现对传统大规模视频监控系统性能的巨大提升，具有重大的实战价值。
图像识别技术的商业化应用
2012年8月，韩国SK集团旗下的SK电讯率先将面部识别技术应用于户外广告领域。据了解，SK电讯是通过在新一代数字户外广告牌上按照高清摄像头，扫描和拍摄周围10米内的面孔，分析数百个从面部提取的特征，进行性别（男/女）和年龄（幼儿/儿童/青年/中年/老年）分类，进而通过中央服务器对数据进行统一处理，将关注广告牌的消费者性别年龄数据提供给广告商。该服务可以大大提升广告曝光和到达的精确度、测定广告效果，从而帮助广告商改进升级广告内容，加强传播效果。
目前，SK电讯正积极进行图像分析技术的系统开发，包括海岸、山地等偏远地区的监控系统、车栽红外线摄像头等，希望将图像分析技术向安保、汽车、医疗等更广阔的产业领域普及。