论文部分内容阅读
随着信息化技术在政府、企业等组织日常经营活动的不断深入，越来越多的组织通过基于联网的信息系统为组织自身和客户提供服务。这些基于联网的信息系统为组织和客户带来便利的同时也成为了攻击的目标，基于互联网的信息系统一旦被恶意者攻陷并加以利用将会给组织和客户带来业务收入损失、形象品牌损失、数据与财产损失、秘密及隐私泄露等各种各样的不利影响，更甚者有可能上升影响到国家安全。
深入分析导致基于联网的信息系统风险严峻的原因，可以发现虽然各个组织都在不断的完善自身的安全防御体系以此来抵制各种可能发生的威胁事件，但仅凭安全防御体系被动防御还不足以保障信息系统的安全，还需要不断完善主动化的风险探知体系，以此来发现防御体系存在的风险并对其进行修补，只有这样才能提高组织的整体安全。
一、需求背景
随着网络信息化建设不断完善，基础设备、服务器、网络设备、安全设备不断增多，网络越来越复杂，各类数据信息的获取通常处于被状态，不具备完善的网络基础信息库，无法自动化智能化的统计出网内设备与应用的数量，无法有效识别网内设备和应用的上架情况。伴随着业务的不断变化，需求的不断变化，网络的不断变化，每个阶段网内设备与应用的状态依据业务及需求不断发生改变，新增了哪些设备，新开了什么端口，设备及应用均处于什么样的运行状态。面对这种现状，需要采用多样化信息采集方式，主动全面获取网内各类信息，构建全网网络基础信息库；统计各类设备与应用，识别应用的基本信息。在基础信息库的基础上，不断实时更新覆盖全网网络基础信息库。
二、风险探知技术平台关键技术
（一）基础信息主动探测技术
风险探知技术平台融合多种探测技术，通过采集引擎可主动收集安全设备、网络设备、主机/服务器以及工控设备的信息，并可向目标发送探测数据包，发现目标存活性，接收目标反馈的数据包，并将反馈信息提交给后台进行分析。通过指纹库的比对，设备信息采集可实现探测目标类型及型号、操作系统类型和版本号、所承载服务及软硬件版本等信息收集和判断，可發现探测目标的脆弱性信息。整个过程大体可分为端口扫描、协议识别、服务、应用、操作系统信息获取和脆弱性收集四个部分。
（二）超文本标记抽取技术
充分利用市场上舆情产品的技术积累，实现对超文本的积累。通过端口、http包头、banner信息、指纹信息等实现超文本标记抽取。如：通过开放的端口及服务来识别网络设备或应用服务器；通过提取WEB指纹来判断设备厂商或设备类型；通过WEB指纹识别技术可以获取应用服务组件。
（三）构建漏洞验证功能，实现漏洞验证自动化支撑
风险探知技术平台具备漏洞验证功能，可以对网络节点上发现的漏洞进行验证并发起攻击。快速漏洞验证能够与网络节点详细信息展示相关联，查看网络节点详细信息中的漏洞后调出快速漏洞验证功能，用户配置漏洞验证相关参数后就能快速进行漏洞验证，快速漏洞验证参数设置包括但不限于漏洞验证、攻击的插件选择、目标网络节点IP地址、目标端口、有效载荷代码选择等。
（四）基于高性能存储和检索技术
风险探知技术平台统融合了多种探测引擎，对目标网络采集基础信息，包括：端口、服务、操作系统、web应用漏洞、系统漏洞、应用系统、网络信息节点、网络安全设备等，数据存储容量大，采用现有的关系数据库无法满足。其次，采集的数据有基于结构化的数据，也有非结构化数据和半结构化的数据，现有关系数据不支持非结构化数据和半结构化数据。再次，要求风险探知技术平台支持实时化的数据搜索。对于存储和查询、分析的数据达到上百个TB时，常规系统是无法支持这种大数据的存储和实时查询功能。
为了解决支持数据存储、查询、分析的数据达到上百个TB时，风险探知技术平台采用存储容量支持PB级别的分布式数据库MongoDB作为风险探知技术平台的存储数据库；同时MongoDB数据库支持结构化和非结构化数据，满足风险探知技术平台的数据存储要求。采用分布式多用户的搜索引擎Elasticsearch实现风险探知技术平台实时查询和分析功能。MongoDB分布式数据库和Elasticearch分布式搜索引擎都支持PB级别的存储容量。
三、风险探知技术平台设计
（一）功能架构
风险探知技术平台从功能上划分主要由五个层次组成，被管理对象层、信息采集层、信息汇聚层、核心业务层、应用与展示层。
平台与外部资源和系统进行接口交互，最终实现对中心网络安全防护、网络攻防、网络风险评估业务的支撑。
被管理对象层包括各政务网站主要组成部分，包括各类主机/服务器、安全设备、网络设备、工控设备、WEB应用、中间件、数据库、邮件系统和DNS系统等，通过在网络上对这些对象信息的主动探测与收集，形成相关业务支撑的基础数据。
信息采集层包括分布式部署的各个主动探测节点，这些节点主要包括信息采集、Web信息采集、邮件系统信息采集、DNS系统信息采集以及漏洞验证与利用的功能，实现信息主动探测的执行层。
信息汇聚层将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息存储在原始信息库和汇总信息库中，同时提供辅助信息库，负责指纹库、IP数据库、漏洞特征库和协议分析库的管理。
核心业务层包括信息采集管理子系统、数据分析子系统能够、网络攻防应用子系统和分布式管理子系统。其中采集管理子系统负责对信息采集对象、规则和任务的统一管理；数据分析子系统负责信息识别分析、综合数据分析、漏洞分析、安全态势分析和重点用户分析；网络攻防应用子系统负责漏洞的验证与利用、漏洞联动攻击以及汇总点目标的探查；分布式管理子系统负责分布式存储管理、分布式节点管理、分布式任务管理和系统管理。 应用与展示层为用户提供人机交互界面，实现网络空间地图的绘制与展示、楼顶验证与利用、漏洞分布与安全态势感知以及重点用户分析的功能。
（二）网络部署环境
如图2所示，风险探知技术平台由总中心和分中心两部分构成；其中总中心包括：
数据库服务器：实现大数据的存储，满足风险探知技术平台的基础信息采集；
数据汇聚服务器：实现对分中心主动探测节点服务器上传数据的汇总和转化；
分布式存储计算服务器：实现对大数据的存储和计算分析。
管理服务器：对风险探知系统的管理和风险可视化展示。
分中心主要由一组主动探测节点服务器构成，主动对目标网络进行基础信息的采集。
四、技术特点
（一）主动探测
1. 多样化探测手段
风险探知技术平台在探测技术方面将融合多种探测技术，主要包括以下几个方面：
支持针对web漏洞扫描技术；
支持系统漏洞扫描技术；
支持针对操作系统的探测技术；
针对端口的探测技术；
服务探测技术；
Web爬虫技术；
漏洞验证与利用技术；
2. 分布式探测技术
风险探知技术平台支持分布式探测节点部署，通过分布式节点管理实现了对不同目标网络的主动探测。
3. 多类型探测引擎
风险探知技术平台采用基于消息總线和WebService等通用扩展技术。通过消息总线可以实现对内部分布式探针的管理和扩展，可以很好的支持自身的分布式探针，也可以支持第三方的分布式探针。
（二）信息识别
平台依托内置的IP地址信息库、指纹库、特征库，可以有效的识别设备的地理位置、基础信息、工控信息、DNS信息、WEB应用信息。
（三）网络空间地图
平台能够提供多维搜索和关联搜索两种搜索技术，快速定位符合搜索条件的目标网络节点。
（四）漏洞利用验证
平台通过快速漏洞验证提供针对网络节点上发现的漏洞进行验证或发起攻击的能力。快速漏洞验证能够与网络节点详细信息展示相关联，查看网络节点详细信息中的漏洞后调出漏洞验证功能，用户配置漏洞验证相关参数后就能快速进行漏洞验证或利用。
（五）安全态势分析
平台通过信息识别分析、综合统计分析和查询统计分析等相关技术，通过长期积累的经验完成对网络节点上设备的信息识别，并将识别的信息和搜索结果通过图、表、地图等多种形式展现出来。
五、结语
随着信息技术的不断发展，企业的网络规模不断扩大，需要这种通过基础信息库的构建，通过资产基础信息的识别，构建网络空间地图，利用漏洞利用验证，展现网络安全态势，即时了解网络风险分布状况，设备运行状况，网络和设备安全态势状况，并通过快速漏洞验证功能提供的针对网络节点上发现的漏洞进行验证或发起攻击的能力，利用主动化的风险探知平台保障网络的信息系统的安全，确保信息系统中数据的安全，从而实现企业信息化的健康发展。
深入分析导致基于联网的信息系统风险严峻的原因，可以发现虽然各个组织都在不断的完善自身的安全防御体系以此来抵制各种可能发生的威胁事件，但仅凭安全防御体系被动防御还不足以保障信息系统的安全，还需要不断完善主动化的风险探知体系，以此来发现防御体系存在的风险并对其进行修补，只有这样才能提高组织的整体安全。
一、需求背景
随着网络信息化建设不断完善，基础设备、服务器、网络设备、安全设备不断增多，网络越来越复杂，各类数据信息的获取通常处于被状态，不具备完善的网络基础信息库，无法自动化智能化的统计出网内设备与应用的数量，无法有效识别网内设备和应用的上架情况。伴随着业务的不断变化，需求的不断变化，网络的不断变化，每个阶段网内设备与应用的状态依据业务及需求不断发生改变，新增了哪些设备，新开了什么端口，设备及应用均处于什么样的运行状态。面对这种现状，需要采用多样化信息采集方式，主动全面获取网内各类信息，构建全网网络基础信息库；统计各类设备与应用，识别应用的基本信息。在基础信息库的基础上，不断实时更新覆盖全网网络基础信息库。
二、风险探知技术平台关键技术
（一）基础信息主动探测技术
风险探知技术平台融合多种探测技术，通过采集引擎可主动收集安全设备、网络设备、主机/服务器以及工控设备的信息，并可向目标发送探测数据包，发现目标存活性，接收目标反馈的数据包，并将反馈信息提交给后台进行分析。通过指纹库的比对，设备信息采集可实现探测目标类型及型号、操作系统类型和版本号、所承载服务及软硬件版本等信息收集和判断，可發现探测目标的脆弱性信息。整个过程大体可分为端口扫描、协议识别、服务、应用、操作系统信息获取和脆弱性收集四个部分。
（二）超文本标记抽取技术
充分利用市场上舆情产品的技术积累，实现对超文本的积累。通过端口、http包头、banner信息、指纹信息等实现超文本标记抽取。如：通过开放的端口及服务来识别网络设备或应用服务器；通过提取WEB指纹来判断设备厂商或设备类型；通过WEB指纹识别技术可以获取应用服务组件。
（三）构建漏洞验证功能，实现漏洞验证自动化支撑
风险探知技术平台具备漏洞验证功能，可以对网络节点上发现的漏洞进行验证并发起攻击。快速漏洞验证能够与网络节点详细信息展示相关联，查看网络节点详细信息中的漏洞后调出快速漏洞验证功能，用户配置漏洞验证相关参数后就能快速进行漏洞验证，快速漏洞验证参数设置包括但不限于漏洞验证、攻击的插件选择、目标网络节点IP地址、目标端口、有效载荷代码选择等。
（四）基于高性能存储和检索技术
风险探知技术平台统融合了多种探测引擎，对目标网络采集基础信息，包括：端口、服务、操作系统、web应用漏洞、系统漏洞、应用系统、网络信息节点、网络安全设备等，数据存储容量大，采用现有的关系数据库无法满足。其次，采集的数据有基于结构化的数据，也有非结构化数据和半结构化的数据，现有关系数据不支持非结构化数据和半结构化数据。再次，要求风险探知技术平台支持实时化的数据搜索。对于存储和查询、分析的数据达到上百个TB时，常规系统是无法支持这种大数据的存储和实时查询功能。
为了解决支持数据存储、查询、分析的数据达到上百个TB时，风险探知技术平台采用存储容量支持PB级别的分布式数据库MongoDB作为风险探知技术平台的存储数据库；同时MongoDB数据库支持结构化和非结构化数据，满足风险探知技术平台的数据存储要求。采用分布式多用户的搜索引擎Elasticsearch实现风险探知技术平台实时查询和分析功能。MongoDB分布式数据库和Elasticearch分布式搜索引擎都支持PB级别的存储容量。
三、风险探知技术平台设计
（一）功能架构
风险探知技术平台从功能上划分主要由五个层次组成，被管理对象层、信息采集层、信息汇聚层、核心业务层、应用与展示层。
平台与外部资源和系统进行接口交互，最终实现对中心网络安全防护、网络攻防、网络风险评估业务的支撑。
被管理对象层包括各政务网站主要组成部分，包括各类主机/服务器、安全设备、网络设备、工控设备、WEB应用、中间件、数据库、邮件系统和DNS系统等，通过在网络上对这些对象信息的主动探测与收集，形成相关业务支撑的基础数据。
信息采集层包括分布式部署的各个主动探测节点，这些节点主要包括信息采集、Web信息采集、邮件系统信息采集、DNS系统信息采集以及漏洞验证与利用的功能，实现信息主动探测的执行层。
信息汇聚层将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息存储在原始信息库和汇总信息库中，同时提供辅助信息库，负责指纹库、IP数据库、漏洞特征库和协议分析库的管理。
核心业务层包括信息采集管理子系统、数据分析子系统能够、网络攻防应用子系统和分布式管理子系统。其中采集管理子系统负责对信息采集对象、规则和任务的统一管理；数据分析子系统负责信息识别分析、综合数据分析、漏洞分析、安全态势分析和重点用户分析；网络攻防应用子系统负责漏洞的验证与利用、漏洞联动攻击以及汇总点目标的探查；分布式管理子系统负责分布式存储管理、分布式节点管理、分布式任务管理和系统管理。 应用与展示层为用户提供人机交互界面，实现网络空间地图的绘制与展示、楼顶验证与利用、漏洞分布与安全态势感知以及重点用户分析的功能。
（二）网络部署环境
如图2所示，风险探知技术平台由总中心和分中心两部分构成；其中总中心包括：
数据库服务器：实现大数据的存储，满足风险探知技术平台的基础信息采集；
数据汇聚服务器：实现对分中心主动探测节点服务器上传数据的汇总和转化；
分布式存储计算服务器：实现对大数据的存储和计算分析。
管理服务器：对风险探知系统的管理和风险可视化展示。
分中心主要由一组主动探测节点服务器构成，主动对目标网络进行基础信息的采集。
四、技术特点
（一）主动探测
1. 多样化探测手段
风险探知技术平台在探测技术方面将融合多种探测技术，主要包括以下几个方面：
支持针对web漏洞扫描技术；
支持系统漏洞扫描技术；
支持针对操作系统的探测技术；
针对端口的探测技术；
服务探测技术；
Web爬虫技术；
漏洞验证与利用技术；
2. 分布式探测技术
风险探知技术平台支持分布式探测节点部署，通过分布式节点管理实现了对不同目标网络的主动探测。
3. 多类型探测引擎
风险探知技术平台采用基于消息總线和WebService等通用扩展技术。通过消息总线可以实现对内部分布式探针的管理和扩展，可以很好的支持自身的分布式探针，也可以支持第三方的分布式探针。
（二）信息识别
平台依托内置的IP地址信息库、指纹库、特征库，可以有效的识别设备的地理位置、基础信息、工控信息、DNS信息、WEB应用信息。
（三）网络空间地图
平台能够提供多维搜索和关联搜索两种搜索技术，快速定位符合搜索条件的目标网络节点。
（四）漏洞利用验证
平台通过快速漏洞验证提供针对网络节点上发现的漏洞进行验证或发起攻击的能力。快速漏洞验证能够与网络节点详细信息展示相关联，查看网络节点详细信息中的漏洞后调出漏洞验证功能，用户配置漏洞验证相关参数后就能快速进行漏洞验证或利用。
（五）安全态势分析
平台通过信息识别分析、综合统计分析和查询统计分析等相关技术，通过长期积累的经验完成对网络节点上设备的信息识别，并将识别的信息和搜索结果通过图、表、地图等多种形式展现出来。
五、结语
随着信息技术的不断发展，企业的网络规模不断扩大，需要这种通过基础信息库的构建，通过资产基础信息的识别，构建网络空间地图，利用漏洞利用验证，展现网络安全态势，即时了解网络风险分布状况，设备运行状况，网络和设备安全态势状况，并通过快速漏洞验证功能提供的针对网络节点上发现的漏洞进行验证或发起攻击的能力，利用主动化的风险探知平台保障网络的信息系统的安全，确保信息系统中数据的安全，从而实现企业信息化的健康发展。