论文部分内容阅读
摘 要：随着大数据时代的到来，人工智能技术的发展，面对国家安全与发展战略、智库战略的需要。情报工作在新时代、新环境、新技术、新需求下，必须重新审视和定位学科的未来发展，重新规划和设计情报工作的未来路径。鉴于此，文章结合笔者多年工作经验，对情报分析中大数据分析技术与框架研究提出了一些建议，仅供参考。
关键词：情报分析;大数据分析技术;框架研究
引言
情报对提升人们的生活品质、促进科技的创新与发展、保障人们的医疗和健康、促进工农业发展以及辅助政府决策等有积极作用且密切相关，可以说情报的应用领域无所不及。作为研究情报的采集、处理、分析和交流原理的，以及为各个领域提供情报的情报工作，其未来发展与科学发展的背景、国家安全与发展的背景、国际大环境背景有着紧密联系。我们必须了解这些影响与情报工作发展的背景，把握机遇迎接挑战。
1、大数据环境下情报分析对象特征
1.1来源多样化
互联网的各项应用成为大数据的主要来源。在互联网的驱动下，电脑、智能手机、无线传感器等终端设备无时无刻在产生着各种类型的数据，其来源类型从硬件、网络媒体、数据类型三个维度进行划分，硬件维度一般是由自然人部署或操作发布，网络媒体维度则是直接面向用户的互联网应用。
1.2低价值密度
海量数据的多维度产生，尤其是社交网站和微信等相对主观、自由的网络媒体维度的存在，必然会稀释数据本身的价值性。除了传感器是采集的环境客观数据，其他数据最初均由自然人主观发布，其数据的可靠度和可信度残次不齐。而目前还缺少对发布信息真实性的监督。除此之外，这些数据中还存在诸多技术需要但与业务没有直接价值的数据。这两个因素加到一起就造成了总体价值密度低的问题。针对低价值密度的数据，进行情报分析之前需要剔除无价值的部分，然而传统的数据管理技术难以实现此功能，这为情报分析带来了前所未有的挑战。
1.3在大数据环境下，情报工作发生巨大变化
情报工作在范围、特征、作用、形式、对象等各个方面发生了巨大变化，其主战场不仅仅是科技与安全领域，已经拓展到社会经济、人类健康、生态环境、历史文化等方方面面。情报工作将会在社会经济、科技创新、医疗卫生、国家安全和提升人类的生活品质中发挥“耳目尖兵参谋”的作用。因此，与情报工作可以此为契机，将情报理论、技术和方法影响各个学科领域和决策领域，并逐步把各级（类）情报所建设成政府、行业和各个领域的重要智库。
2、情报分析被弱化为数据分析的现状
情报分析技术是情报技术的重要组成部分，情报工作的重要一环是情报分析，但情报学领域的绝大多数学者或从业人员将其弱化为数据分析，与计算机领域的相关工作几乎没有区别。事实上，数据分析是情报分析的基础，两者之间区别显著：从数据对象维度来看，数据分析方法以处理单源数据为主，情报分析方法以处理关联的全源数据为主;从产出结果来看，数据分析产出的是新信息、新知识，情报分析产出的是新智能;从分析起点维度来看，数据分析主要是数据驱动，情报分析主要是目标驱动;从分析方法维度来看，数据分析以定量分析为主，定性分析、归纳推理、演绎推理为辅，情报分析在产出新信息、新知识阶段以定量分析为主，在智能产出阶段以归纳推理、演绎推理为主;数据分析是情报分析的基础，情报分析是基于全局的分析，所依据的数据对象是全部来源的数据，数据分析是基于局部的分析，所依据的数据对象通常是全部来源数据的子集;作为数据分析方法体系重要组成的大数据分析无法取代情报分析。
3、情报信息的大数据分析框架
3.1情报检索
军事情报检索不同于简单的文献查找或数据检索，通过手工检索、机械检索等方式检索到的信息，还需在原始情报信息的基础上对数据进行检索和挖掘，获得有用的军事情报。此外，在检索过程中需要有明确的检索目标，从而提取出原始数据中包含的有用情报。
3.2情报提取
情报提取是指将原始数据进行清洗、比对、整合等操作后，通过数据挖掘等方法对数据进行分析。根据指挥、作战、决策等不同军事目的，从数据中获取有用的情报信息。情报信息的提取能力，往往会影响到各国之间军事政治力量的差距。
3.3数据融合
单一数据源获得的信息往往无法满足情报分析和决策支持的需求，军事情报信息获取途径迥异、数据类型各不相同、数据表现形式多种多样、信息之间的关系错综复杂。因此，需要对多源异构信息进行分析、优化，即进行基于语义层面的数据融合。
3.4情报分析
传统的数据挖掘算法不论在处理海量数据的速度上，还是在挖掘信息的能力上都已明显无法满足当前战事分析的需要，当代军事情报分析需要从已有海量数据中，通过多层变换，通过不可分的高阶神经网络推导出能够支撑决策和作战指挥的结论。
3.5关联分析法
对军事情报而言，关联分析法综合了关联规则挖掘方法、链接方法，以及非相关文献知识发现方法，可以将多源异构数据按照关联规则进行跨域关联。再通过聚类分析、路径分析等方法，对情报进行发掘。实践证明，关联分析法综合考虑多种关联因素，可以挖掘出单一数据源无法发现的情报信息。
3.6数据源
数据源是整个体系的最底层，是情报分析的基石。在大数据环境下，互联网和物联网两类应用是主要的数据源。前者一般使用Web构建技术，而后者一般是通过无线传感器来构建，目前Zigbee是公认的物联网协议。这两类应用的一般均会结合数据和文件存储技术来构建，这与一般的信息系统通常情况下不存在明显的差别。但是在运行过程中，这两类应用会源源不断地产生大量的数据，为情报分析提供大量数据的来源。
3.7数据服务
数据服务直接面向用户，为用户提供各类数据分析的接口。目前Web和App的相关开发方法是构建数据服务的主要方法。Web对应的技术除了基本的构建技术外，云计算是大数据时代构建服务接口的主流技术，通过调用云端的服务，用户可以通过电脑、手机等互联网终端随时调用数据分析服务。App近年来主要的开发技术则以iOS和Android为主。
3.8多管理主体的情报协同
当相互关联的多个管理行动同时发生时，管理主体需要协调相互之间的目标、规则和分工。不同情报活动的行动者单元在协调一致或不一致的情况下协同或分别运作，其生产的情报对各自管理主体之管理目标下的管理决策进行支撑。在管理主体协调产生共同目标的情况下，各行动者单元的情报活动及其产出结果具有协调一致的可能，如图3中的模型。在管理主体不发生协调或者无法协调产生一致目标的情况下，根据某个行动者单元所产出的情报，其支撑引导的管理决策和行动将对其他行动者单元造成直接作用，这些作用反映为信息资源改变的一个部分，被纳入进受到影响的其他行动者单元之中。
结束语
大数据时代的来临，人工智能等先进技术将逐步进入情报领域。新时代、新技术、新环境、新思维为情报工作带来新的活力，情报工作迎来了极好的发展机遇，我们必须砥砺奋进。我们相信，在广大情报人的共同努力下，未来的与情报工作一定会得到更加快速繁荣的发展。
参考文献：
[1]马海群，孙瑞英.大数据时代国家情报工作生态演替趋势研究[J].图书与情报，2018（06）：1-7.
[2]王梦瑶.大数据背景下侦查创新研究[D].中国人民公安大学，2018.
[3]王焕新.大数据时代竞爭情报对企业技术创新的影响[J].经济研究导刊，2018（34）：17+100.
[4]储节旺，吴川徽，陈善姗，是沁，李章超.支撑创新的情报保障研究进展[J].进展，2018，12（00）：217-247.
[5]唐晓波，郑杜，翟夏普.基于大数据智能的竞争情报系统模型研究[J].情报理论与实践，2018，41（11）：133-137+160.
关键词：情报分析;大数据分析技术;框架研究
引言
情报对提升人们的生活品质、促进科技的创新与发展、保障人们的医疗和健康、促进工农业发展以及辅助政府决策等有积极作用且密切相关，可以说情报的应用领域无所不及。作为研究情报的采集、处理、分析和交流原理的，以及为各个领域提供情报的情报工作，其未来发展与科学发展的背景、国家安全与发展的背景、国际大环境背景有着紧密联系。我们必须了解这些影响与情报工作发展的背景，把握机遇迎接挑战。
1、大数据环境下情报分析对象特征
1.1来源多样化
互联网的各项应用成为大数据的主要来源。在互联网的驱动下，电脑、智能手机、无线传感器等终端设备无时无刻在产生着各种类型的数据，其来源类型从硬件、网络媒体、数据类型三个维度进行划分，硬件维度一般是由自然人部署或操作发布，网络媒体维度则是直接面向用户的互联网应用。
1.2低价值密度
海量数据的多维度产生，尤其是社交网站和微信等相对主观、自由的网络媒体维度的存在，必然会稀释数据本身的价值性。除了传感器是采集的环境客观数据，其他数据最初均由自然人主观发布，其数据的可靠度和可信度残次不齐。而目前还缺少对发布信息真实性的监督。除此之外，这些数据中还存在诸多技术需要但与业务没有直接价值的数据。这两个因素加到一起就造成了总体价值密度低的问题。针对低价值密度的数据，进行情报分析之前需要剔除无价值的部分，然而传统的数据管理技术难以实现此功能，这为情报分析带来了前所未有的挑战。
1.3在大数据环境下，情报工作发生巨大变化
情报工作在范围、特征、作用、形式、对象等各个方面发生了巨大变化，其主战场不仅仅是科技与安全领域，已经拓展到社会经济、人类健康、生态环境、历史文化等方方面面。情报工作将会在社会经济、科技创新、医疗卫生、国家安全和提升人类的生活品质中发挥“耳目尖兵参谋”的作用。因此，与情报工作可以此为契机，将情报理论、技术和方法影响各个学科领域和决策领域，并逐步把各级（类）情报所建设成政府、行业和各个领域的重要智库。
2、情报分析被弱化为数据分析的现状
情报分析技术是情报技术的重要组成部分，情报工作的重要一环是情报分析，但情报学领域的绝大多数学者或从业人员将其弱化为数据分析，与计算机领域的相关工作几乎没有区别。事实上，数据分析是情报分析的基础，两者之间区别显著：从数据对象维度来看，数据分析方法以处理单源数据为主，情报分析方法以处理关联的全源数据为主;从产出结果来看，数据分析产出的是新信息、新知识，情报分析产出的是新智能;从分析起点维度来看，数据分析主要是数据驱动，情报分析主要是目标驱动;从分析方法维度来看，数据分析以定量分析为主，定性分析、归纳推理、演绎推理为辅，情报分析在产出新信息、新知识阶段以定量分析为主，在智能产出阶段以归纳推理、演绎推理为主;数据分析是情报分析的基础，情报分析是基于全局的分析，所依据的数据对象是全部来源的数据，数据分析是基于局部的分析，所依据的数据对象通常是全部来源数据的子集;作为数据分析方法体系重要组成的大数据分析无法取代情报分析。
3、情报信息的大数据分析框架
3.1情报检索
军事情报检索不同于简单的文献查找或数据检索，通过手工检索、机械检索等方式检索到的信息，还需在原始情报信息的基础上对数据进行检索和挖掘，获得有用的军事情报。此外，在检索过程中需要有明确的检索目标，从而提取出原始数据中包含的有用情报。
3.2情报提取
情报提取是指将原始数据进行清洗、比对、整合等操作后，通过数据挖掘等方法对数据进行分析。根据指挥、作战、决策等不同军事目的，从数据中获取有用的情报信息。情报信息的提取能力，往往会影响到各国之间军事政治力量的差距。
3.3数据融合
单一数据源获得的信息往往无法满足情报分析和决策支持的需求，军事情报信息获取途径迥异、数据类型各不相同、数据表现形式多种多样、信息之间的关系错综复杂。因此，需要对多源异构信息进行分析、优化，即进行基于语义层面的数据融合。
3.4情报分析
传统的数据挖掘算法不论在处理海量数据的速度上，还是在挖掘信息的能力上都已明显无法满足当前战事分析的需要，当代军事情报分析需要从已有海量数据中，通过多层变换，通过不可分的高阶神经网络推导出能够支撑决策和作战指挥的结论。
3.5关联分析法
对军事情报而言，关联分析法综合了关联规则挖掘方法、链接方法，以及非相关文献知识发现方法，可以将多源异构数据按照关联规则进行跨域关联。再通过聚类分析、路径分析等方法，对情报进行发掘。实践证明，关联分析法综合考虑多种关联因素，可以挖掘出单一数据源无法发现的情报信息。
3.6数据源
数据源是整个体系的最底层，是情报分析的基石。在大数据环境下，互联网和物联网两类应用是主要的数据源。前者一般使用Web构建技术，而后者一般是通过无线传感器来构建，目前Zigbee是公认的物联网协议。这两类应用的一般均会结合数据和文件存储技术来构建，这与一般的信息系统通常情况下不存在明显的差别。但是在运行过程中，这两类应用会源源不断地产生大量的数据，为情报分析提供大量数据的来源。
3.7数据服务
数据服务直接面向用户，为用户提供各类数据分析的接口。目前Web和App的相关开发方法是构建数据服务的主要方法。Web对应的技术除了基本的构建技术外，云计算是大数据时代构建服务接口的主流技术，通过调用云端的服务，用户可以通过电脑、手机等互联网终端随时调用数据分析服务。App近年来主要的开发技术则以iOS和Android为主。
3.8多管理主体的情报协同
当相互关联的多个管理行动同时发生时，管理主体需要协调相互之间的目标、规则和分工。不同情报活动的行动者单元在协调一致或不一致的情况下协同或分别运作，其生产的情报对各自管理主体之管理目标下的管理决策进行支撑。在管理主体协调产生共同目标的情况下，各行动者单元的情报活动及其产出结果具有协调一致的可能，如图3中的模型。在管理主体不发生协调或者无法协调产生一致目标的情况下，根据某个行动者单元所产出的情报，其支撑引导的管理决策和行动将对其他行动者单元造成直接作用，这些作用反映为信息资源改变的一个部分，被纳入进受到影响的其他行动者单元之中。
结束语
大数据时代的来临，人工智能等先进技术将逐步进入情报领域。新时代、新技术、新环境、新思维为情报工作带来新的活力，情报工作迎来了极好的发展机遇，我们必须砥砺奋进。我们相信，在广大情报人的共同努力下，未来的与情报工作一定会得到更加快速繁荣的发展。
参考文献：
[1]马海群，孙瑞英.大数据时代国家情报工作生态演替趋势研究[J].图书与情报，2018（06）：1-7.
[2]王梦瑶.大数据背景下侦查创新研究[D].中国人民公安大学，2018.
[3]王焕新.大数据时代竞爭情报对企业技术创新的影响[J].经济研究导刊，2018（34）：17+100.
[4]储节旺，吴川徽，陈善姗，是沁，李章超.支撑创新的情报保障研究进展[J].进展，2018，12（00）：217-247.
[5]唐晓波，郑杜，翟夏普.基于大数据智能的竞争情报系统模型研究[J].情报理论与实践，2018，41（11）：133-137+160.