论文部分内容阅读
摘要：改革转隶后的消防救援队伍，承担着防范化解重大安全风险、应对处置各类灾害事故的重大职责，是立足构建新时代国家应急救援体系的重要举措;更体现着党中央适应国家治理体系和治理能力现代化的战略决策。因此，建设信息化、数字化的实战指挥平台系统，提高指挥调度的规范性、科学性，十分必要。笔者从应用技术与工作实际出发，对消防救援队伍应用的实战指挥平台建设发展进行了探索性的思考。
关键词：大数据; 云计算; 实战指挥平台
1 平台建设概述
实战指挥平台，顾名思义是指消防救援队伍在应急救援实际作战中，综合调配各业务系统数据、资源，实现远程可视化科学调度指挥的支撑平台。该平台概念于2017年由当时公安部消防局提出。我国应急管理部组建之初，消防救援局的实战指挥平台作为应急管理部门的信息化应用建设重点，得到进一步重视和推动。
在消防救援队伍的业务工作流程中，指挥调度操作主要是在后方指挥中心完成的，因此实战指挥平台的部署核心在指挥中心。指挥控制中心（简称CCC）的信息化发展阶段分为五个梯次。第一阶段是可用，目前各行业指挥控制中心具备各个部分的子系统基本上可以独立运行。第二个阶段是可联，系统之间通过硬件，超高分可视化屏幕上墙，屏幕上综合显示。第三阶段是可视，不是过去单纯信号上墙，而是通过基础数据拉通关联抽象形成可视化数据呈现，打通业务关联性。第四阶段是可治管，有智能联动机制，使部门之间数据可以产生行动联动性。有一些决策的支持作用。第五阶段是有智慧，在指挥控制中心有能够产生智能判斷的决策支撑系统，有分析系统，能够使决策以最快捷的方式呈现并采取最优化、最快速的行动。基于目前的普遍技术阶段，大多数行业的指挥中心都处于第四向第五阶段过渡的探索升级期。而实战指挥平台概念的提出正是对这一升级的有益探索实践。
2 大数据云计算技术应用
实战指挥平台必须充分适应大数据时代内容资源的特点，通过云存储以及分布式数据库系统存储海量视频监控数据、目标数据以及其他相关应用产生的业务数据，智能化深入挖掘中间大量信息的高价值关联性。这些“大数据”需要新处理应用模式才能成为更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
基于大数据的特点，传统的业务平台架构已经很难胜任。而应急救援类大数据主要以非结构化视频数据为主，而且随着高清化的深入，视频的产生数据速度和数据量都是非常庞大的，以处理非机构化数据为主的普通BI架构也难以简单胜任。因此，平台系统的大数据分析服务部分架构设计应该采用目前主流的Hadoop等分布式系统进行架构设计。同时，需要采用多级存储的模式来应对解决这些资源中最有价值、最优先、最迫切的数据，既能满足不断增加的数据消耗有限的数据处理能力，又能满足数据处理的要求。
平台系统中的云计算平台大数据分析服务必须具备针对半结构化/结构化数据挖掘的大数据分析计算能力，可处理和分析海量的视频、图片、业务数据等信息资源，系统，为各种数据分析、情报分析以及研判应用提供高性能的数据分析和挖掘服务。
通过大数据分析平台服务和云计算架构，集群中各个节点将计算分析的结果合并传输至分布式文件系统中的分布式数据库中。用户可针对数据库中的数据（比如目标属性特征数据、业务数据、其它智能分析计算过程及结果数据等），通过大数据计算分析引擎进行相关搜索、比对分析、关联分析、主题分析、报表生成等大数据计算服务，为用户提供个性化、深入化的数据挖掘分析和应用能力。同时可通过大数据接口对接整合业务使用单位各个业务系统业务数据，与分布式数据库和云存储中的数据共同进行数据挖掘等分析计算工作。
大数据计算分析的结果可存储至Hive（数据仓库）中。Hive中存储的数据属于根据用户业务需求计算分析得来的高价值应用数据。Hive数据仓库中的高价值数据可通过API或EBS数据总线为上层应用层及用户展现层提供支撑服务，满足业务使用单位特别是安监部门各角色各业务应用场景的视频智能化实战应用需求。
大数据平台提供了PaaS层的数据访问和调用服务，用户可通过PaaS平台服务，进行二次开发，从而实现用户的应用。
通过不同的技术架构对各种应用的大数据业务封装处理之后，整个大数据分析平台可以为上层平台提供不同的标准分析服务，以满足不同应用系统实战需求。
2.1 大数据检索服务
大数据检索服务主要是解决海量数据的快速检索问题。通过智能数据分析应用，非结构化的数据被结构化，生成海量的目标结构化描述信息，并通过分布式数据库实现了海量数据的存储和管理。在此基础上，采用分布式数据库系统提供的各类大数据分析引擎，支持多节点并行处理技术，有效缩短了数据检索分析的响应时间，提高系统性能，在数十亿上百亿的数据量基础上，可实现秒级的数据比对检索，快速生成透明、多维的检索结果，并可按照互联网搜索引擎模式展示给用户，对检索结果进行动态、多维呈现，支持多种检索方式。包括特征检索，行为检索，人、车、物检索、颜色检索、标签检索等，以及其他检索方式。
此外，通过大数据检索服务的支撑，还可以为上层应用提供更丰富的特定检索分析应用，比如推荐排序的应用，可综合历史上所有的线索信息，对数据在时间维度和概率统计等多方面进行综合分析判断;或者提供按权重排序的应用，可对检索条件附加权重值，然后对每条检索的数据匹配的多条检索条件权重做数量级的累加，累加的权重值越高的排序越靠前。通过这些增强的大数据检索应用，可以满足安监监管以及执法办案对视频线索数据分析检索的要求。
2.2 数据挖掘服务
上层业务平台可以利用分布式数据库整合的各业务系统数据，结合云计算与大数据分析处理过程及结果数据，通过大数据的关联、分析、比对、碰撞等分析服务，挖掘隐藏在数据间的相互关系和数据价值，从中寻找出高价值的业务模式、规则或事件线索等。
数据挖掘涉及的算法种类繁多，系统具有一套全面的算法分类的管理体系，这些机器学习算法通过系统提供的调用接口可被数据处理、应用层直接调用。
平台数据挖掘业务模块可支持主流数据挖掘算法，如分类、聚类、趋势分析、特征变换、回归、推荐、自然语言处理、关联分析、数理统计、数据预处理及基础数学计算等。可通过集成主流算法库，如Mahout、Weka、MlLib、MOA实现;支持对分类、聚类和趋势分析等用户常用算法进行并行化处理;支持通过Hadoop和Spark API直接编写相关的算法;支持基于R的自定义算法开发和部署。
2.3 大数据的展现与交互
大数据分析结果需要以简单直观的方式展现出来，才能最终为用户所理解和使用，形成有效的统计、分析、预测及决策，应用到业务实践中，因此大数据的展现技术，以及与数据的交互技术在大数据全局中也占据重要的位置。 Excel形式的表格和图形化展示方式是人们熟知和使用已久的数据展示方式，也为日常的简单数据应用提供了极大的方便。人脑对图形的理解和处理速度，大大高于文字。因此，通过视觉化呈现数据，可以深入展现数据中的潜在的或复杂的模式和关系。随着大数据的兴起，也涌现了很多新型的数据展现和交互方式。这些新型方式包括交互式图表，可以在网页上呈现，并支持交互，可以操作、控制图标、动画和演示。另外交互式地图应用如Google地图，可以动态标记、生成路线、叠加全景航拍图等，由于其开放的API接口，可以跟很多用户地图和基于位置的服务应用结合，因而获得了广泛的应用。
大数据展示技术将数据运算与美观的图表完美地接合在一起，界面上的数据变得容易操控，快速处理，便捷共享。信息图形将极大的刺激视觉表现，有效的提升用户的业务使用效能。
作者简介：
王文勇，全日制本科，软件工程硕士，工程师。
关键词：大数据; 云计算; 实战指挥平台
1 平台建设概述
实战指挥平台，顾名思义是指消防救援队伍在应急救援实际作战中，综合调配各业务系统数据、资源，实现远程可视化科学调度指挥的支撑平台。该平台概念于2017年由当时公安部消防局提出。我国应急管理部组建之初，消防救援局的实战指挥平台作为应急管理部门的信息化应用建设重点，得到进一步重视和推动。
在消防救援队伍的业务工作流程中，指挥调度操作主要是在后方指挥中心完成的，因此实战指挥平台的部署核心在指挥中心。指挥控制中心（简称CCC）的信息化发展阶段分为五个梯次。第一阶段是可用，目前各行业指挥控制中心具备各个部分的子系统基本上可以独立运行。第二个阶段是可联，系统之间通过硬件，超高分可视化屏幕上墙，屏幕上综合显示。第三阶段是可视，不是过去单纯信号上墙，而是通过基础数据拉通关联抽象形成可视化数据呈现，打通业务关联性。第四阶段是可治管，有智能联动机制，使部门之间数据可以产生行动联动性。有一些决策的支持作用。第五阶段是有智慧，在指挥控制中心有能够产生智能判斷的决策支撑系统，有分析系统，能够使决策以最快捷的方式呈现并采取最优化、最快速的行动。基于目前的普遍技术阶段，大多数行业的指挥中心都处于第四向第五阶段过渡的探索升级期。而实战指挥平台概念的提出正是对这一升级的有益探索实践。
2 大数据云计算技术应用
实战指挥平台必须充分适应大数据时代内容资源的特点，通过云存储以及分布式数据库系统存储海量视频监控数据、目标数据以及其他相关应用产生的业务数据，智能化深入挖掘中间大量信息的高价值关联性。这些“大数据”需要新处理应用模式才能成为更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
基于大数据的特点，传统的业务平台架构已经很难胜任。而应急救援类大数据主要以非结构化视频数据为主，而且随着高清化的深入，视频的产生数据速度和数据量都是非常庞大的，以处理非机构化数据为主的普通BI架构也难以简单胜任。因此，平台系统的大数据分析服务部分架构设计应该采用目前主流的Hadoop等分布式系统进行架构设计。同时，需要采用多级存储的模式来应对解决这些资源中最有价值、最优先、最迫切的数据，既能满足不断增加的数据消耗有限的数据处理能力，又能满足数据处理的要求。
平台系统中的云计算平台大数据分析服务必须具备针对半结构化/结构化数据挖掘的大数据分析计算能力，可处理和分析海量的视频、图片、业务数据等信息资源，系统，为各种数据分析、情报分析以及研判应用提供高性能的数据分析和挖掘服务。
通过大数据分析平台服务和云计算架构，集群中各个节点将计算分析的结果合并传输至分布式文件系统中的分布式数据库中。用户可针对数据库中的数据（比如目标属性特征数据、业务数据、其它智能分析计算过程及结果数据等），通过大数据计算分析引擎进行相关搜索、比对分析、关联分析、主题分析、报表生成等大数据计算服务，为用户提供个性化、深入化的数据挖掘分析和应用能力。同时可通过大数据接口对接整合业务使用单位各个业务系统业务数据，与分布式数据库和云存储中的数据共同进行数据挖掘等分析计算工作。
大数据计算分析的结果可存储至Hive（数据仓库）中。Hive中存储的数据属于根据用户业务需求计算分析得来的高价值应用数据。Hive数据仓库中的高价值数据可通过API或EBS数据总线为上层应用层及用户展现层提供支撑服务，满足业务使用单位特别是安监部门各角色各业务应用场景的视频智能化实战应用需求。
大数据平台提供了PaaS层的数据访问和调用服务，用户可通过PaaS平台服务，进行二次开发，从而实现用户的应用。
通过不同的技术架构对各种应用的大数据业务封装处理之后，整个大数据分析平台可以为上层平台提供不同的标准分析服务，以满足不同应用系统实战需求。
2.1 大数据检索服务
大数据检索服务主要是解决海量数据的快速检索问题。通过智能数据分析应用，非结构化的数据被结构化，生成海量的目标结构化描述信息，并通过分布式数据库实现了海量数据的存储和管理。在此基础上，采用分布式数据库系统提供的各类大数据分析引擎，支持多节点并行处理技术，有效缩短了数据检索分析的响应时间，提高系统性能，在数十亿上百亿的数据量基础上，可实现秒级的数据比对检索，快速生成透明、多维的检索结果，并可按照互联网搜索引擎模式展示给用户，对检索结果进行动态、多维呈现，支持多种检索方式。包括特征检索，行为检索，人、车、物检索、颜色检索、标签检索等，以及其他检索方式。
此外，通过大数据检索服务的支撑，还可以为上层应用提供更丰富的特定检索分析应用，比如推荐排序的应用，可综合历史上所有的线索信息，对数据在时间维度和概率统计等多方面进行综合分析判断;或者提供按权重排序的应用，可对检索条件附加权重值，然后对每条检索的数据匹配的多条检索条件权重做数量级的累加，累加的权重值越高的排序越靠前。通过这些增强的大数据检索应用，可以满足安监监管以及执法办案对视频线索数据分析检索的要求。
2.2 数据挖掘服务
上层业务平台可以利用分布式数据库整合的各业务系统数据，结合云计算与大数据分析处理过程及结果数据，通过大数据的关联、分析、比对、碰撞等分析服务，挖掘隐藏在数据间的相互关系和数据价值，从中寻找出高价值的业务模式、规则或事件线索等。
数据挖掘涉及的算法种类繁多，系统具有一套全面的算法分类的管理体系，这些机器学习算法通过系统提供的调用接口可被数据处理、应用层直接调用。
平台数据挖掘业务模块可支持主流数据挖掘算法，如分类、聚类、趋势分析、特征变换、回归、推荐、自然语言处理、关联分析、数理统计、数据预处理及基础数学计算等。可通过集成主流算法库，如Mahout、Weka、MlLib、MOA实现;支持对分类、聚类和趋势分析等用户常用算法进行并行化处理;支持通过Hadoop和Spark API直接编写相关的算法;支持基于R的自定义算法开发和部署。
2.3 大数据的展现与交互
大数据分析结果需要以简单直观的方式展现出来，才能最终为用户所理解和使用，形成有效的统计、分析、预测及决策，应用到业务实践中，因此大数据的展现技术，以及与数据的交互技术在大数据全局中也占据重要的位置。 Excel形式的表格和图形化展示方式是人们熟知和使用已久的数据展示方式，也为日常的简单数据应用提供了极大的方便。人脑对图形的理解和处理速度，大大高于文字。因此，通过视觉化呈现数据，可以深入展现数据中的潜在的或复杂的模式和关系。随着大数据的兴起，也涌现了很多新型的数据展现和交互方式。这些新型方式包括交互式图表，可以在网页上呈现，并支持交互，可以操作、控制图标、动画和演示。另外交互式地图应用如Google地图，可以动态标记、生成路线、叠加全景航拍图等，由于其开放的API接口，可以跟很多用户地图和基于位置的服务应用结合，因而获得了广泛的应用。
大数据展示技术将数据运算与美观的图表完美地接合在一起，界面上的数据变得容易操控，快速处理，便捷共享。信息图形将极大的刺激视觉表现，有效的提升用户的业务使用效能。
作者简介：
王文勇，全日制本科，软件工程硕士，工程师。