论文部分内容阅读
[摘 要]在“大数据”时代,谁率先拥有大数据、善于利用大数据,谁就能掌握主动、赢得未来。为下好先手棋、打好主动仗,有效维护社会信息条件下的国家安全和社会稳定,公安机关就必须加强对各类信息的全面整合、综合分析和预警监测,不断提高搜集情报、侦查破案、处置重大警情的能力,率先拥有海量信息资源,并实施有效管理,善于应用,才能掌握主动,更好的发挥攻坚作用。
[关键词]大数据;信息资源;预警监测
中图分类号:D631 文献标识码:A 文章编号:1009-914X(2015)05-0234-01
一、设计原则和要求
为了解决现有业务资源融合不足,各类数据资源作用难以最大发挥的问题,最大限度地整合各类信息资源,实现互联互通和资源贡献,真正实现“大数据”时代的数据融合,首要步骤就是实现数据采集。笔者认为数据采集,由分布在全国乃至全球各地的采集系统构成一张超级的采集网络。其系统建设应坚持以下基本原则:
一是全面性,是指对整个社会信息数据进行全面采集
二是实时性,是指采集到的信息必须保证鲜活和及时性。
三是灵活性,要求在技术上可以灵活地适应各种渠道的采集工作,包括对未来各种采集计划的接口支持。
四是安全性,栈道处于整个先知计划网络的最外围,必然会对“先知”计划的网络安全性带来风险,因此栈道的设计需要充分考虑系统的安全性。
二、采集对象
社会领域的信息由很多主体对象生成,这些对象就是信息的源头。从公安情报部门的关注角度可以将这些对象划分为人、物品、组织、地点、事件等。因此,信息采集围绕这些对象展开。
(一)对人员的信息收集
信息时代,人在整个社会活动中无时无刻不在产生信息记录。例如,随着移动通信网络技术的飞速发展,人的线上生活也成为一种趋势。人的衣食住行等行为都会留下各种数字痕迹。从情报工作的角度,对人的信息采集可以按身份、行为、行踪等几个维度开展。
人的身份是对人进行标识的方法,而人在不同领域的活动可能会有不同的身份标识,包括:身份证信息、会员证信息、DNA信息、指纹信息、电信标识码信息等。
人的行为信息描述人与人或其他实体的交互信息过程,包括:通信行为、寄递行为、交际行为、交易行为等。
人的行踪信息描述人与空间的关系,包括:地理位置信息、出入境信息、出行信息、住址信息、工作地址信息等。
(二)对物品的信息收集
当前,物联网已经得到广泛应用。因此,公安情报采集的对象也从人扩展到了物,如寄递行业中的物品监控、交通运输中的车辆监控等。物品信息主要包括:涉案物品登记信息、车辆登记信息、车辆卡口信息、车辆违章信息、物品寄递信息、物品销售信息等。
(三)对事件的信息收集
对事件的信息收集主要包括以下信息:时间、地点、人员、组织、舆情、其他关联信息等。
(四)对地点的信息收集
对地点的信息收集主要包括以下信息:地理信息、环境信息、区域特性信息、区域内对象信息等。
(五)对组织的信息收集
组织是指社会中的各种团体,如政府机构、行业联盟、商业公司、志愿团体等。组织信息包含以下内容:法人登记信息、团体活动信息、资产信息、商业信息、财务信息、法律信息等。
三、围栏化数据采集
“大数据”时代下的数据采集应涵盖通信、互联网、交通、金融等领域。从公安情报预警的角度出发,逼着人提出以下“围栏”方式建设数据采集网络的需求。
(一)通信围栏
现代通信网络是社会个体互联系的重要渠道,其中包括大量的公安情报线索。建立“通信围栏”,依托电信、移动、联通等通信运营企业,全量实时采集用户信息数据、信令等通信数据,通过对通信数据全时空留存,实现对犯罪行为的有效追查和预警。
(二)网络围栏
互联网是当今世界上覆盖面最广、影响最大的数据网络,其信息量巨大,类型繁多,该领域也是各种非法组织进行联络、策划和宣传最重要的渠道之一。建立“网络围栏”,依托电信、移动、联通等互联网信息服务提供商,全量实时采集用户注册、登录、浏览、发布、传输、搜索、交易、电子邮件信息等网络数据,通过对网络数据全时空留存,实现对犯罪行为的有效追查和预警。
(三)交通围栏
伴随着交通科技的高速发展,民航、高铁、长途巴士、家用车辆、船舶等构成了多远复杂的现代交通网络。建立“交通围栏”,依托民航、海事、公路、铁路等交通运营企业以及交通部等政府部门,全量实时采集乘客购票、航班进出港、高铁线路及实时运行信息、车辆注册、车辆位置、车辆维修、出租车运营、船舶运行信息等交通数据,通过对交通数据全时空留存,实现对犯罪行为的有效追查和预警。
(四)金融围栏
金融是国民经济重点领域,其中蕴含大量国家安全相关信息,一些重大社会事件的发生往往都伴随着金融领域的重要线索发现。建立金融围栏,依托中国人民银行、银监会、证监会、保监会等国家金融监管机构以及中国银联、国有或商业银行、证券公司、保险公司、信托机构、民间借贷机构、互联网金融企业,全量实时采集开户登记、交易明细、余额信息等数据,通过对金融数据全时空留存,实现对犯罪行为的有效追查和预警。
(五)其他数据采集领域
1.政府管理领域
政府管理部门在依法行使社会管理职能的同时,也广泛收集大量人员、组织和社会活动信息,这些信息从不同侧面反映了社会的运行状态以及社会成员的基本情况,属于数据的采集范围。政府职能领域的数据采集应依托公检法、工商管理、医疗卫生、公用事业等政府管理部门实现对公安机关管控信息、检察院案件侦查信息、法院案件审理和判决信息、工商执照信息、工商处罚信息、卫生信息、水电煤缴费信息、房地产登记等信息进行全量采集,实现对重点目标的全面了解,辅助供公安情报决策研判。
2.社会服务领域
社会服务行业机构在经营过程中也收集了大量运营所需人员、组织信息,对情报工作具有重大意义,属于数据的采集范围。社会服务领域的数据采集应当依托国家相关部门对旅游行业信息、旅客信息、寄递渠道信息、零售信息、餐饮从业和服务信息、网吧上网信息等进行全量数据采集,以全面掌控重点目标对象的社会服务消费信息,以辅助公安情报决策研判。
3.拓展领域
“大数据”融合下的数据采集除了对上述信息进行采集外,还可以根据需要建设独立的信息采集系统。
四、采集方式
信息采集按照技术手段划分为:网络旁路采集、接口服务采集、物联网感知读取、数据库同步、文件同步等几种方式。
(一)网络旁路采集
网络旁路采集是指通过分光截取、端口镜像、高阻复接等方式对网络中传输的数据进行采集的方式。
(二)接口服务采集
接口服务采集指的是对第三方提供的远程服务接口进行调用,提供相应的参数并获取返回的结果数据信息。也可以由数据采集提供数据接收服务接口,信息提供方对其进行数据推送。
(三)物联网感知读取
物联网数据感知读取信息主要通过传感器技术、物品标识技术以及短距离无线传输技术实现。具体来说,物联网感知读取手段综合了传感器技术、嵌入式计算技术、智能组网技术、无线通信技术、分布式信息处理技术等,能够通过各类集成化的微型传感器的協作,实时监测、感知和采集各种环境或监测对象的而信息。
(四)数据库同步的采集
数据库同步采集方式指在数据源库和目标数据库之间采取实时或准实时的同步措施来获取数据。
(五)文件同步采集
文件同步的采集方式指在源文件服务器和目标文件服务器之间采取实时或准实时的同步措施来获取数据。
[关键词]大数据;信息资源;预警监测
中图分类号:D631 文献标识码:A 文章编号:1009-914X(2015)05-0234-01
一、设计原则和要求
为了解决现有业务资源融合不足,各类数据资源作用难以最大发挥的问题,最大限度地整合各类信息资源,实现互联互通和资源贡献,真正实现“大数据”时代的数据融合,首要步骤就是实现数据采集。笔者认为数据采集,由分布在全国乃至全球各地的采集系统构成一张超级的采集网络。其系统建设应坚持以下基本原则:
一是全面性,是指对整个社会信息数据进行全面采集
二是实时性,是指采集到的信息必须保证鲜活和及时性。
三是灵活性,要求在技术上可以灵活地适应各种渠道的采集工作,包括对未来各种采集计划的接口支持。
四是安全性,栈道处于整个先知计划网络的最外围,必然会对“先知”计划的网络安全性带来风险,因此栈道的设计需要充分考虑系统的安全性。
二、采集对象
社会领域的信息由很多主体对象生成,这些对象就是信息的源头。从公安情报部门的关注角度可以将这些对象划分为人、物品、组织、地点、事件等。因此,信息采集围绕这些对象展开。
(一)对人员的信息收集
信息时代,人在整个社会活动中无时无刻不在产生信息记录。例如,随着移动通信网络技术的飞速发展,人的线上生活也成为一种趋势。人的衣食住行等行为都会留下各种数字痕迹。从情报工作的角度,对人的信息采集可以按身份、行为、行踪等几个维度开展。
人的身份是对人进行标识的方法,而人在不同领域的活动可能会有不同的身份标识,包括:身份证信息、会员证信息、DNA信息、指纹信息、电信标识码信息等。
人的行为信息描述人与人或其他实体的交互信息过程,包括:通信行为、寄递行为、交际行为、交易行为等。
人的行踪信息描述人与空间的关系,包括:地理位置信息、出入境信息、出行信息、住址信息、工作地址信息等。
(二)对物品的信息收集
当前,物联网已经得到广泛应用。因此,公安情报采集的对象也从人扩展到了物,如寄递行业中的物品监控、交通运输中的车辆监控等。物品信息主要包括:涉案物品登记信息、车辆登记信息、车辆卡口信息、车辆违章信息、物品寄递信息、物品销售信息等。
(三)对事件的信息收集
对事件的信息收集主要包括以下信息:时间、地点、人员、组织、舆情、其他关联信息等。
(四)对地点的信息收集
对地点的信息收集主要包括以下信息:地理信息、环境信息、区域特性信息、区域内对象信息等。
(五)对组织的信息收集
组织是指社会中的各种团体,如政府机构、行业联盟、商业公司、志愿团体等。组织信息包含以下内容:法人登记信息、团体活动信息、资产信息、商业信息、财务信息、法律信息等。
三、围栏化数据采集
“大数据”时代下的数据采集应涵盖通信、互联网、交通、金融等领域。从公安情报预警的角度出发,逼着人提出以下“围栏”方式建设数据采集网络的需求。
(一)通信围栏
现代通信网络是社会个体互联系的重要渠道,其中包括大量的公安情报线索。建立“通信围栏”,依托电信、移动、联通等通信运营企业,全量实时采集用户信息数据、信令等通信数据,通过对通信数据全时空留存,实现对犯罪行为的有效追查和预警。
(二)网络围栏
互联网是当今世界上覆盖面最广、影响最大的数据网络,其信息量巨大,类型繁多,该领域也是各种非法组织进行联络、策划和宣传最重要的渠道之一。建立“网络围栏”,依托电信、移动、联通等互联网信息服务提供商,全量实时采集用户注册、登录、浏览、发布、传输、搜索、交易、电子邮件信息等网络数据,通过对网络数据全时空留存,实现对犯罪行为的有效追查和预警。
(三)交通围栏
伴随着交通科技的高速发展,民航、高铁、长途巴士、家用车辆、船舶等构成了多远复杂的现代交通网络。建立“交通围栏”,依托民航、海事、公路、铁路等交通运营企业以及交通部等政府部门,全量实时采集乘客购票、航班进出港、高铁线路及实时运行信息、车辆注册、车辆位置、车辆维修、出租车运营、船舶运行信息等交通数据,通过对交通数据全时空留存,实现对犯罪行为的有效追查和预警。
(四)金融围栏
金融是国民经济重点领域,其中蕴含大量国家安全相关信息,一些重大社会事件的发生往往都伴随着金融领域的重要线索发现。建立金融围栏,依托中国人民银行、银监会、证监会、保监会等国家金融监管机构以及中国银联、国有或商业银行、证券公司、保险公司、信托机构、民间借贷机构、互联网金融企业,全量实时采集开户登记、交易明细、余额信息等数据,通过对金融数据全时空留存,实现对犯罪行为的有效追查和预警。
(五)其他数据采集领域
1.政府管理领域
政府管理部门在依法行使社会管理职能的同时,也广泛收集大量人员、组织和社会活动信息,这些信息从不同侧面反映了社会的运行状态以及社会成员的基本情况,属于数据的采集范围。政府职能领域的数据采集应依托公检法、工商管理、医疗卫生、公用事业等政府管理部门实现对公安机关管控信息、检察院案件侦查信息、法院案件审理和判决信息、工商执照信息、工商处罚信息、卫生信息、水电煤缴费信息、房地产登记等信息进行全量采集,实现对重点目标的全面了解,辅助供公安情报决策研判。
2.社会服务领域
社会服务行业机构在经营过程中也收集了大量运营所需人员、组织信息,对情报工作具有重大意义,属于数据的采集范围。社会服务领域的数据采集应当依托国家相关部门对旅游行业信息、旅客信息、寄递渠道信息、零售信息、餐饮从业和服务信息、网吧上网信息等进行全量数据采集,以全面掌控重点目标对象的社会服务消费信息,以辅助公安情报决策研判。
3.拓展领域
“大数据”融合下的数据采集除了对上述信息进行采集外,还可以根据需要建设独立的信息采集系统。
四、采集方式
信息采集按照技术手段划分为:网络旁路采集、接口服务采集、物联网感知读取、数据库同步、文件同步等几种方式。
(一)网络旁路采集
网络旁路采集是指通过分光截取、端口镜像、高阻复接等方式对网络中传输的数据进行采集的方式。
(二)接口服务采集
接口服务采集指的是对第三方提供的远程服务接口进行调用,提供相应的参数并获取返回的结果数据信息。也可以由数据采集提供数据接收服务接口,信息提供方对其进行数据推送。
(三)物联网感知读取
物联网数据感知读取信息主要通过传感器技术、物品标识技术以及短距离无线传输技术实现。具体来说,物联网感知读取手段综合了传感器技术、嵌入式计算技术、智能组网技术、无线通信技术、分布式信息处理技术等,能够通过各类集成化的微型传感器的協作,实时监测、感知和采集各种环境或监测对象的而信息。
(四)数据库同步的采集
数据库同步采集方式指在数据源库和目标数据库之间采取实时或准实时的同步措施来获取数据。
(五)文件同步采集
文件同步的采集方式指在源文件服务器和目标文件服务器之间采取实时或准实时的同步措施来获取数据。