论文部分内容阅读
摘要：目前基于内容的视频检索技术最大的挑战是获取可视化、高浓缩和完整的视频摘要及良好视觉体验的呈现方式。而本研究是基于超大规模视频分析与检索的关键性问题一视频摘要技术。核心问题是如何有效地提取视频上用户感兴趣的内容（如对象、事件等），并通过时域信息浓缩在特定空域内来紧凑地袁达海量视觉内容。
关键词：视频分析与检索；视频摘要技术；视觉信息
1研究现状
目前的视频监控系统，虽然建设了数量庞大的摄像监控点，获得了海量的视频和图像存储数据，但是往往无法提供足够的人力对众多的视频进行实时监看，同时由于缺乏对预警目标状态的实时了解，导致事前预警困难、对突发事件的响应缺乏实时情报支撑、对录像数据中感兴趣内容的检索缺乏高效手段，或者缺乏关键特写数据，对各个警种所需情报的形成、分析与利用造成了极大的困难，也构成了目前大多数在建天网系统的应用瓶颈，使得巨大的建设成本无法真正为公安业务高效服务。
根据安防机关实战业务需求分析，本项目要求提供情报收集、情报整理、情报分析、情报检索、情报研判和情报管理六大功能模块，解决了多个大规模视频联网系统中具有挑战性的应用问题：
●情报收集手段与内容单一
一般系统只是为“看图像”服务，情报的唯一来源是视频录像，视频信息大多由安装在公共场合的固定监控点摄像头提供，各路视频内容之间没有关联性。
●情报收集不具备行业针对性
一般系统在监控点的设计只考虑场景的监控，不会针对这些行业中情报收集的特点进行细化设计。
●视频内容认知困难
一般系统由于缺乏智能化的手段，对感兴趣图像画面（场景）、目标、身份、事件、特征、轨迹、特写、语音与通信关联视频的自动化认知非常困难，本设计要求此系统通过智能目标采集与识别、多摄像机关联分析、电磁时空分析等多种手段提供被监控目标的实时信息，方便预警与针对性目标监控应用，同时可以在录像中根据被监控对象的身份、特征、通信定位、相关事件迅速寻找到相关的目标画面或者轨迹。
●情报检索效率低下
本设计要求此系统通过视频浓缩、身份录像绑定检索、特征检索技术及高效的索引形成方法，使得用户可以对感兴趣图像画面（场景）、目标、身份、事件、特征、轨迹、特写进行高效和精确的检索。
●缺乏情报整理工具
一般系统缺乏视频情报的编辑与整理工具，用户既无法检索，更谈不上对基于视频的情报进行不同的逻辑推理，或者进行不同视频内容的关联性分析。
自动的场景内容进行标注，使得通过标签关键词检索视频简单快捷。
●缺乏情报研判与管理工具
一般系统无法将监控视频与情报研判做直接的结合，往往需要大量的人力查找录像，并在此基础上由不同的人做主观研判。
2研究内容
桂林鸿图科技有限公司是一家立足于高新技术型产品的科技发展公司，总部位于桂林高新产业园。本项目的研究是建立在一个多模态信息融合的视频摘要及基于时域浓缩的可视化摘要呈现机制。本公司拥有先进的超大规模视频检索技术，并以此技术为核心产生了数据挖掘系统软件，通过技术与软件相结合，与全国各地的相关企业合作达到共同盈利。
在今年中央推行“街区制”小区的国内大背景下，本公司的产品更具加具有有效保障居民安全的重要意义。
3现状分析
3.1市场分析
据《2011-2015年中国安防视频行业投资前景分析报告》指出，安防产业长期以来将持续受益，具备持续增长的动力，而这种动力主要来源于下游需求、消费者安放意识、消费能力、科技实力以及法规政策等产业主要推动因素的良性發展。目前我国安防产业规模还偏小，目前主要应用于公安，公路交通，金融以及大型商场等行业，民用市场远未启动；从我国安防行业的发展态势来看，处于快速发展期，且正向爆发增长期发展，整个行业有很大的提升空间，很高的市场地位。
3.2市场容量估算
根据IMS Research最新发布的预测，2010年中国安防系统集成市场容量达到62亿美金，市场预计将在2014年增长至130亿美金。据调查，中国安防系统集成市场中，安防和服务市场在2010年占据了近40%的市场份额。这个比重预计将在今后四年内迅速提升。预计在2014年，安装和服务市场将会是2010年的两倍以上。安防产业资深分析师张博评论到：“越来越多的系统集成商在软件方面投入更多的研发精力，创造更多的附加价值。
就本公司产品而言，面向市场广泛，中国的行政区域基本分为省（自治区、直辖市、特别行政区）、县（自治县、市）、乡（镇）三级，中国总计有34个省级行政单位，23个省，5个自治区，4个直辖市和2个特别行政区，每个地区都要有自己的公安部门，因此面向市场广泛。
4营销模式
a、企业发展短期战略：
公司第一年到第三年为公司短期战略期，期间目标市场为广西区内市场；目标客户广西区内的社区监控系统，农业监测与监控系统等；在产品上主打视频检索处理软件；初步构建广西区的销售渠道；在供应链方面初步确立一批合作伙伴；在公司发展初期构初级的信息系统；同时为公司的中期战略实施做一些铺垫性工作。
b、企业发展中期战略：
公司第四年到第五年为公司中期战略期，本时期市场战略为进一步稳固广西区内市场、承接公司短期战略进入以广州、深圳为中心的华南地区市场；目标客户为华南地区的社区监控系统，农业监测与监控系统，公安系统，水利水库监控等；在产品上公司将开发出智能视频分析软件定制能力，其应用覆盖分布式智能交通视频监控（超过20项智能对象、事件识别功能）、智能环保监控（污染、烟雾和火焰检测等；在关系市场形成稳定的销售渠道；在供应链建设方面从企业前期发展中合作的伙伴或其他企业中确定企业发展的战略发展伙伴；在信息化方面公司具备更强的信息管理能力及公司运营的基本信息化。
c、企业发展长期战略：
公司成立第六年到第十年进入公司长期战略期，公司的战略是走向全国市场，构建起一条稳固的供应链，在渠道商、供应商、技术研发、产品目标客方面均由相应的战略合作伙伴。为公司业务在获得全国范围内的拓展奠定基础。
5管理模式
总经理：全面主持公司的行政工作，协调各机构的工作；组织制订公司的季度发展、规划及管理计划；确保公司运营符合法规，并和董事会定期汇报公司工作运转情况，和董事会沟通协调关系；承担公司公关职责。
其他各部门各司其职，相互协作，追求利益最大化。
6特色与创新点
（1）提出新的STT图像融合策略，将不同时间出现的不同对象和事件根据用户对场景的感兴趣程度与视觉饱和度浓缩到同一视频帧中，保留了视频内容的完整，并获得摘要帧中极高的信息饱和度；
（2）建立MMAR多模态的视频摘要模型，高效融合了视频、音频、文本等多种媒体内容，并形成可高速回溯的视频摘要信息分层显示、分类的对象与事件索引。
（3）设计新的基于摘要的查询导航机制，可提供跨越时域到空域、甚至不同媒体快速的内容检索，准确地检索出目标内容。为视频内容检索应用奠定了基础。
关键词：视频分析与检索；视频摘要技术；视觉信息
1研究现状
目前的视频监控系统，虽然建设了数量庞大的摄像监控点，获得了海量的视频和图像存储数据，但是往往无法提供足够的人力对众多的视频进行实时监看，同时由于缺乏对预警目标状态的实时了解，导致事前预警困难、对突发事件的响应缺乏实时情报支撑、对录像数据中感兴趣内容的检索缺乏高效手段，或者缺乏关键特写数据，对各个警种所需情报的形成、分析与利用造成了极大的困难，也构成了目前大多数在建天网系统的应用瓶颈，使得巨大的建设成本无法真正为公安业务高效服务。
根据安防机关实战业务需求分析，本项目要求提供情报收集、情报整理、情报分析、情报检索、情报研判和情报管理六大功能模块，解决了多个大规模视频联网系统中具有挑战性的应用问题：
●情报收集手段与内容单一
一般系统只是为“看图像”服务，情报的唯一来源是视频录像，视频信息大多由安装在公共场合的固定监控点摄像头提供，各路视频内容之间没有关联性。
●情报收集不具备行业针对性
一般系统在监控点的设计只考虑场景的监控，不会针对这些行业中情报收集的特点进行细化设计。
●视频内容认知困难
一般系统由于缺乏智能化的手段，对感兴趣图像画面（场景）、目标、身份、事件、特征、轨迹、特写、语音与通信关联视频的自动化认知非常困难，本设计要求此系统通过智能目标采集与识别、多摄像机关联分析、电磁时空分析等多种手段提供被监控目标的实时信息，方便预警与针对性目标监控应用，同时可以在录像中根据被监控对象的身份、特征、通信定位、相关事件迅速寻找到相关的目标画面或者轨迹。
●情报检索效率低下
本设计要求此系统通过视频浓缩、身份录像绑定检索、特征检索技术及高效的索引形成方法，使得用户可以对感兴趣图像画面（场景）、目标、身份、事件、特征、轨迹、特写进行高效和精确的检索。
●缺乏情报整理工具
一般系统缺乏视频情报的编辑与整理工具，用户既无法检索，更谈不上对基于视频的情报进行不同的逻辑推理，或者进行不同视频内容的关联性分析。
自动的场景内容进行标注，使得通过标签关键词检索视频简单快捷。
●缺乏情报研判与管理工具
一般系统无法将监控视频与情报研判做直接的结合，往往需要大量的人力查找录像，并在此基础上由不同的人做主观研判。
2研究内容
桂林鸿图科技有限公司是一家立足于高新技术型产品的科技发展公司，总部位于桂林高新产业园。本项目的研究是建立在一个多模态信息融合的视频摘要及基于时域浓缩的可视化摘要呈现机制。本公司拥有先进的超大规模视频检索技术，并以此技术为核心产生了数据挖掘系统软件，通过技术与软件相结合，与全国各地的相关企业合作达到共同盈利。
在今年中央推行“街区制”小区的国内大背景下，本公司的产品更具加具有有效保障居民安全的重要意义。
3现状分析
3.1市场分析
据《2011-2015年中国安防视频行业投资前景分析报告》指出，安防产业长期以来将持续受益，具备持续增长的动力，而这种动力主要来源于下游需求、消费者安放意识、消费能力、科技实力以及法规政策等产业主要推动因素的良性發展。目前我国安防产业规模还偏小，目前主要应用于公安，公路交通，金融以及大型商场等行业，民用市场远未启动；从我国安防行业的发展态势来看，处于快速发展期，且正向爆发增长期发展，整个行业有很大的提升空间，很高的市场地位。
3.2市场容量估算
根据IMS Research最新发布的预测，2010年中国安防系统集成市场容量达到62亿美金，市场预计将在2014年增长至130亿美金。据调查，中国安防系统集成市场中，安防和服务市场在2010年占据了近40%的市场份额。这个比重预计将在今后四年内迅速提升。预计在2014年，安装和服务市场将会是2010年的两倍以上。安防产业资深分析师张博评论到：“越来越多的系统集成商在软件方面投入更多的研发精力，创造更多的附加价值。
就本公司产品而言，面向市场广泛，中国的行政区域基本分为省（自治区、直辖市、特别行政区）、县（自治县、市）、乡（镇）三级，中国总计有34个省级行政单位，23个省，5个自治区，4个直辖市和2个特别行政区，每个地区都要有自己的公安部门，因此面向市场广泛。
4营销模式
a、企业发展短期战略：
公司第一年到第三年为公司短期战略期，期间目标市场为广西区内市场；目标客户广西区内的社区监控系统，农业监测与监控系统等；在产品上主打视频检索处理软件；初步构建广西区的销售渠道；在供应链方面初步确立一批合作伙伴；在公司发展初期构初级的信息系统；同时为公司的中期战略实施做一些铺垫性工作。
b、企业发展中期战略：
公司第四年到第五年为公司中期战略期，本时期市场战略为进一步稳固广西区内市场、承接公司短期战略进入以广州、深圳为中心的华南地区市场；目标客户为华南地区的社区监控系统，农业监测与监控系统，公安系统，水利水库监控等；在产品上公司将开发出智能视频分析软件定制能力，其应用覆盖分布式智能交通视频监控（超过20项智能对象、事件识别功能）、智能环保监控（污染、烟雾和火焰检测等；在关系市场形成稳定的销售渠道；在供应链建设方面从企业前期发展中合作的伙伴或其他企业中确定企业发展的战略发展伙伴；在信息化方面公司具备更强的信息管理能力及公司运营的基本信息化。
c、企业发展长期战略：
公司成立第六年到第十年进入公司长期战略期，公司的战略是走向全国市场，构建起一条稳固的供应链，在渠道商、供应商、技术研发、产品目标客方面均由相应的战略合作伙伴。为公司业务在获得全国范围内的拓展奠定基础。
5管理模式
总经理：全面主持公司的行政工作，协调各机构的工作；组织制订公司的季度发展、规划及管理计划；确保公司运营符合法规，并和董事会定期汇报公司工作运转情况，和董事会沟通协调关系；承担公司公关职责。
其他各部门各司其职，相互协作，追求利益最大化。
6特色与创新点
（1）提出新的STT图像融合策略，将不同时间出现的不同对象和事件根据用户对场景的感兴趣程度与视觉饱和度浓缩到同一视频帧中，保留了视频内容的完整，并获得摘要帧中极高的信息饱和度；
（2）建立MMAR多模态的视频摘要模型，高效融合了视频、音频、文本等多种媒体内容，并形成可高速回溯的视频摘要信息分层显示、分类的对象与事件索引。
（3）设计新的基于摘要的查询导航机制，可提供跨越时域到空域、甚至不同媒体快速的内容检索，准确地检索出目标内容。为视频内容检索应用奠定了基础。