论文部分内容阅读
摘要：随着网络技术不断发展，网络功能日益强大，与此同时，信息泄露、数据被盗等网络安全事故频发，网络安全问题越来越引起人们的关注，而借助当下流行的大数据技术解决网络安全问题也成为众多学者研究的方向。本文以当前网络安全现状为出发点，分析了大数据技术在网络安全领域的优势以及在数据收集、存储、分析、检索等方面的具体应用。
关键词：网络安全；大数据技术；应用
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）24-0038-02
当今社会，互联网成了人们与社会交流的重要手段，我们的生越来越离不开互联网，我们生活日常活动80%都可以通过互联网联来进行，更有甚者几乎全部衣食住行都在网上进行，与人聊天、信息查询、购物、外卖饮食等等，随着互联网的功能逐渐强大，网络安全问题频发。在使用互联网的过程中势必会产生与自身隐私相关的诸多信息，而一旦网络遭到木马病毒或者黑客攻击时，这些与用户隐私相关的信息将会被不法分子获取或者篡改，用户利益将受到巨大威胁。而当前网络安全现状已引起社会各界担忧。
1网络安全现状
网络环境日益复杂，网络涉及的数据量也成几何倍数增长，网络安全中需要分析的数据量自然也随着快速增长。而随着科学技术的不断发展，网络设备的性能也不断提高，数据传输速度更快，功能更加多样化，内能也更精细化，一些软件的漏洞也逐渐显现，同时，人们的计算机技术水平也越来越高，特别是一些专业黑客人员，他们的手段经常推陈出新，病毒木马更是让人“防不胜防”，因此，对网络完全的维护提出了更高要求。这就需要使用多样化的检测手段，需要更快、更及時地分析安全信息，检测出网络存在的安全隐患，针对性防护。在数据存储方面，在传统技术中， 使用结构化数据库进行存储，存储过程成本高，因此，通常会将原始数据标准化之后再进行存储，这样就增大了数据丢失的机率，一些历史数据的存储难度随之增大，造成某些历史数据不完善和非结构化，查询这些数据准确性难以得到保障。
2大数据技术在网络安全分析中的优势
当今网络环境下，大数据技术在很多行业中都得到了广泛应用，大大到、人脸识别、人工智能、无人驾驶等，小到电商平台、物流配送、商场货物管理平台等都是基于大数据技术发展起来的，而大数据技术在网络安全分析中也有明显的应用优势。传统技术模式下，数据存储成本高，标准化后数据的安全性和准确性得不到保障，而大数据技术有自身价值密度低、速度快、种类多、数据量大等诸多优点， 能实现成本低、效率高、容量大、分析结果准确等目标， 拓宽了数据分析工作的深度和广度。
首先，容量大。大数据技术支持海量异构数据的存储计算，使对大量原始安全信息的存储和分析成为可能。其次，成本低廉。传统数据库中，结构化数据存储成本高，标准化后安全性由大大降低，而大数据技术中，分布式数据库价格低廉， 且易于在低价的硬件设施上水平扩展， 以此降低安全投入成本。再次，速度快。异构数据的存储和查询速度更快，在此基础上，安全信息采集、检测、响应速度更快。最后，精度高。数据挖掘能力大幅度提升， 异构和海量数据存储支持为多维度和多阶段的数据分析，基于更长时间数据以及数据间直接和间接联系。提升了数据分析的广度与深度。
3大数据技术在网络安全分析中的应用
3.1数据收集
数据收集是大数据技术应用的基本内容，在技术应用过程中可以运用相关的工具进行数据采集，使用分布式采集方式能够以每秒数百兆的速度采集日志信息，运用传统数据镜像采集方式，其能够收集全流量数据，运用大数据技术还能够对实时数据进行分析。在网络安全视野下，数据采集能够及时地收集各种网络数据，对相关数据进行分析，做好数据内存和监控工作。同时，数据采集工作还能够在离线状态下进行，对存在的风险进行统计，并且对事件的状态进行分析，在统计和分析的基础之上，追本溯源，找出事件发生的根本原因。
3.2数据存储
数据存储是计算机大数据中的重要组成部分，当前的网络环境可以说是极为复杂的，数据的种类亦是如此，在这种环境之下要想有效地对各项数据进行分析，提高检索和分析的效率，就需要工作人员结合实际的情况采用不同存储方式存储不同种类的数据，这样在后期即使要使用相关的数据，也能够通过前期的分门别类中找到所需要应用的数据。如在使用网络时能够对日志信息、流量历史数据等进行存储，这样在后期网络技术应用过程中，即使涉及安全方面的问题，工作人员也可以通过存储的数据对相关内容进行分析，然后使用标准化的处理方法，保证数据的安全。
3.3数据分析
实时数据安全分析， 可使用Spark、Stom等方式来进行， 并以此为基础构建计算框架， 与此同时， 还可配合定制电联分析计算方式和特殊事件处理技术共同应用。通过上述方式， 可实现安全信息的实时监控以及数据的优化存储， 并可在第一时间察觉到可疑行为。在分析非实时数据时， 可采用Hadoop框架， 并配合应用Map Reduce计算方式和HDFS分布式存储， 同时也包括数据抽取、数据挖掘以数据集合等技术， 对统计风险、攻击源等进行精准分析。大数据技术的应用可大幅度提升分析和存储效率， 可在短时间完成多元数据的分析工作， 并对大规模系统存在潜在风险进行识别和判断， 对不同阶段、不同时期的攻击行为进行挖掘。如在进行僵尸网络分析的过程中， 不仅仅可依靠DNS的访问特点， 同时也可进一步分析和扩充数据源， 集合全分组数据， 并对莫管数据和溯源数据进行攻击， 同时也可对外界的相关情报信息等进行分析。再例如， 当发现个别主机存在系统漏洞或已被攻击后， 可联合其他的主机判定是否均遇到了同样的故障问题， 从而可在第一时间发现问题和隐患， 并妥善地落实好提前预防工作。
3.4数据检索
所谓的数据检测就是将数据库中的存储的数据根据用户的需求提取出来，数据检测的结果会生成一个数据表，其既可以放回数据库，也可以作为进一步处理的对象，数据检索主要包含有数据排序、数据筛选等工作流程，检索方法则有顺序检索、对分检索、索引查询等不同的方法。在大数据技术应用分析过程中，通过对数据快速有效的检索能够帮助人们及时快速的感知非常数据，找出异常数据存在于数据库中的位置，这样能够更好地保证数据使用安全，在数据检索时，安全数据检索可运用以Map Reduce作为基础的检索构建， 将数据查询请求主语放在各个分析节点上进行处理， 使用分布式并行计算方式， 有效提高安全数据检索速度。 4基于大数据的网络安全分析平台建设
大数据环境下，黑客攻击、病毒传播、系统漏洞等来自安全技术的攻击，针对这些问题必须要建设合适的网络平台以保护网络安全，下面，笔者将对其进行具体的分析。
4.1访问控制
访问控制是网络安全防御和保护的主要策略，进行访问控制的主要目是为了对用户访问网络资源的权限进行管理，进而保证网络资源不被非法使用和非法访问。如，在用户登录一些网站时需要进行用户身份认证，对口令经加密，实时的更新和鉴别，设置用户访问目录和文件的权限，控制网络设备配置的权限等。一般来说访问控制是建立在用户身份认证的前提之下，在此基础之上，实施各种访问控制策略来控制和规范用户在系统内的种种行为，进而有效地保护用户使用网络的安全。
4.2数据加密
在计算机设备使用过程中，无论在何种情况下，加密都是保护数据安全的重要手段之一。所谓的加密就是采用加密算法和加密密钥将明文的数据转变为密文，从而将信息数据隐蔽起来，再将加密后的信息数据传播出去，这样即使是加密后的信息数据在传输过程中被他人非法窃取或者是截获，窃取者在短时间内也无法掌握数据内容，通过这种方式有效地保护了数据存储及传输的安全性。在数据加密过程中，针对不同的数据采用的加密算法也不尽相同，其所实施的加密控制等级不通过，通过这种方式能够有效地杜绝信息泄露和和窃取事件的发生，由此可见数据加密工作开展的重要性。
4.3網络隔离
大数据环境下，网络隔离一般采用在数据存储系统上部设置防火墙作为主要的隔离手段。防火墙将网络分为内部网络和外部网络，内部网络一般是安全和可信赖的，而外部网络则在应用过程中存在有大量的威胁，在防火墙系统决定了哪些内部服务是能够被外界访问的，外界的哪些人可以访问内部的哪些服务，以及哪些外部服务可以被内部人员所访问，在大数据技术环境下，通过对内部网络和外部网络之间的数据流量进行分析、检测、管理和控制，能够有效地对内部网络进行保护，避免其因为被用户非法侵入，而在对数据的安全使用造成影响。防火墙技术是通过对网络的隔离和限制访问的等方法来控制网络访问权限的，其能够有效地保护网络安全。
4.4入侵检测
所谓的入侵检测技术就是通过对互联网络和主机系统中的关键信息进行实时的采集和分析，从而判断出非法用户入侵和合法用户滥用资源等行为，并结合实际情况做出最为适当反应的网络安全技术。入侵检测是一种主动的网络安全防御措施，其不仅能够通过监测网络实现对内部的攻击，外部攻击和误操作的实时保护，有效地弥补了防火墙的不足，而且还能够结合其他网络安全产品，对网络安全进行全方位的保护，在网络技术应用过程中，入侵检测具有主动性和实时性的特点，是防火墙重要和有益的补充。入侵检测有效地保证了网络设备的安全使用，提高了信息安全基础结构的完整性。
5结束语
总之，随着时代的不断发展和进步，网络技术在人们的日常生活中应用越来越广泛，其对人们的工作、生活和学习带来了较大的便利，但是在计算机网络技术应用过程中，其所引发的安全问题也越来越多，针对这些问题必须要做好网络安全平台建设工作，具体问题具体分析，保证用户网络使用安全，净化网络环境，发挥大数据技术的积极作用。
参考文献：
[1] 白硕，徐辉.大数据技术在网络安全分析中的应用[J].网络安全技术与应用，2018（06）
[2] 周馨.大数据时代教育数据价值挖掘[J].信息与电脑（理论版），2013（08）.
[3] 张传勇.基于大数据时代下的网络安全问题分析[J].网络安全技术与应用，2015（01）.
【通联编辑：光文玲】
关键词：网络安全；大数据技术；应用
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）24-0038-02
当今社会，互联网成了人们与社会交流的重要手段，我们的生越来越离不开互联网，我们生活日常活动80%都可以通过互联网联来进行，更有甚者几乎全部衣食住行都在网上进行，与人聊天、信息查询、购物、外卖饮食等等，随着互联网的功能逐渐强大，网络安全问题频发。在使用互联网的过程中势必会产生与自身隐私相关的诸多信息，而一旦网络遭到木马病毒或者黑客攻击时，这些与用户隐私相关的信息将会被不法分子获取或者篡改，用户利益将受到巨大威胁。而当前网络安全现状已引起社会各界担忧。
1网络安全现状
网络环境日益复杂，网络涉及的数据量也成几何倍数增长，网络安全中需要分析的数据量自然也随着快速增长。而随着科学技术的不断发展，网络设备的性能也不断提高，数据传输速度更快，功能更加多样化，内能也更精细化，一些软件的漏洞也逐渐显现，同时，人们的计算机技术水平也越来越高，特别是一些专业黑客人员，他们的手段经常推陈出新，病毒木马更是让人“防不胜防”，因此，对网络完全的维护提出了更高要求。这就需要使用多样化的检测手段，需要更快、更及時地分析安全信息，检测出网络存在的安全隐患，针对性防护。在数据存储方面，在传统技术中， 使用结构化数据库进行存储，存储过程成本高，因此，通常会将原始数据标准化之后再进行存储，这样就增大了数据丢失的机率，一些历史数据的存储难度随之增大，造成某些历史数据不完善和非结构化，查询这些数据准确性难以得到保障。
2大数据技术在网络安全分析中的优势
当今网络环境下，大数据技术在很多行业中都得到了广泛应用，大大到、人脸识别、人工智能、无人驾驶等，小到电商平台、物流配送、商场货物管理平台等都是基于大数据技术发展起来的，而大数据技术在网络安全分析中也有明显的应用优势。传统技术模式下，数据存储成本高，标准化后数据的安全性和准确性得不到保障，而大数据技术有自身价值密度低、速度快、种类多、数据量大等诸多优点， 能实现成本低、效率高、容量大、分析结果准确等目标， 拓宽了数据分析工作的深度和广度。
首先，容量大。大数据技术支持海量异构数据的存储计算，使对大量原始安全信息的存储和分析成为可能。其次，成本低廉。传统数据库中，结构化数据存储成本高，标准化后安全性由大大降低，而大数据技术中，分布式数据库价格低廉， 且易于在低价的硬件设施上水平扩展， 以此降低安全投入成本。再次，速度快。异构数据的存储和查询速度更快，在此基础上，安全信息采集、检测、响应速度更快。最后，精度高。数据挖掘能力大幅度提升， 异构和海量数据存储支持为多维度和多阶段的数据分析，基于更长时间数据以及数据间直接和间接联系。提升了数据分析的广度与深度。
3大数据技术在网络安全分析中的应用
3.1数据收集
数据收集是大数据技术应用的基本内容，在技术应用过程中可以运用相关的工具进行数据采集，使用分布式采集方式能够以每秒数百兆的速度采集日志信息，运用传统数据镜像采集方式，其能够收集全流量数据，运用大数据技术还能够对实时数据进行分析。在网络安全视野下，数据采集能够及时地收集各种网络数据，对相关数据进行分析，做好数据内存和监控工作。同时，数据采集工作还能够在离线状态下进行，对存在的风险进行统计，并且对事件的状态进行分析，在统计和分析的基础之上，追本溯源，找出事件发生的根本原因。
3.2数据存储
数据存储是计算机大数据中的重要组成部分，当前的网络环境可以说是极为复杂的，数据的种类亦是如此，在这种环境之下要想有效地对各项数据进行分析，提高检索和分析的效率，就需要工作人员结合实际的情况采用不同存储方式存储不同种类的数据，这样在后期即使要使用相关的数据，也能够通过前期的分门别类中找到所需要应用的数据。如在使用网络时能够对日志信息、流量历史数据等进行存储，这样在后期网络技术应用过程中，即使涉及安全方面的问题，工作人员也可以通过存储的数据对相关内容进行分析，然后使用标准化的处理方法，保证数据的安全。
3.3数据分析
实时数据安全分析， 可使用Spark、Stom等方式来进行， 并以此为基础构建计算框架， 与此同时， 还可配合定制电联分析计算方式和特殊事件处理技术共同应用。通过上述方式， 可实现安全信息的实时监控以及数据的优化存储， 并可在第一时间察觉到可疑行为。在分析非实时数据时， 可采用Hadoop框架， 并配合应用Map Reduce计算方式和HDFS分布式存储， 同时也包括数据抽取、数据挖掘以数据集合等技术， 对统计风险、攻击源等进行精准分析。大数据技术的应用可大幅度提升分析和存储效率， 可在短时间完成多元数据的分析工作， 并对大规模系统存在潜在风险进行识别和判断， 对不同阶段、不同时期的攻击行为进行挖掘。如在进行僵尸网络分析的过程中， 不仅仅可依靠DNS的访问特点， 同时也可进一步分析和扩充数据源， 集合全分组数据， 并对莫管数据和溯源数据进行攻击， 同时也可对外界的相关情报信息等进行分析。再例如， 当发现个别主机存在系统漏洞或已被攻击后， 可联合其他的主机判定是否均遇到了同样的故障问题， 从而可在第一时间发现问题和隐患， 并妥善地落实好提前预防工作。
3.4数据检索
所谓的数据检测就是将数据库中的存储的数据根据用户的需求提取出来，数据检测的结果会生成一个数据表，其既可以放回数据库，也可以作为进一步处理的对象，数据检索主要包含有数据排序、数据筛选等工作流程，检索方法则有顺序检索、对分检索、索引查询等不同的方法。在大数据技术应用分析过程中，通过对数据快速有效的检索能够帮助人们及时快速的感知非常数据，找出异常数据存在于数据库中的位置，这样能够更好地保证数据使用安全，在数据检索时，安全数据检索可运用以Map Reduce作为基础的检索构建， 将数据查询请求主语放在各个分析节点上进行处理， 使用分布式并行计算方式， 有效提高安全数据检索速度。 4基于大数据的网络安全分析平台建设
大数据环境下，黑客攻击、病毒传播、系统漏洞等来自安全技术的攻击，针对这些问题必须要建设合适的网络平台以保护网络安全，下面，笔者将对其进行具体的分析。
4.1访问控制
访问控制是网络安全防御和保护的主要策略，进行访问控制的主要目是为了对用户访问网络资源的权限进行管理，进而保证网络资源不被非法使用和非法访问。如，在用户登录一些网站时需要进行用户身份认证，对口令经加密，实时的更新和鉴别，设置用户访问目录和文件的权限，控制网络设备配置的权限等。一般来说访问控制是建立在用户身份认证的前提之下，在此基础之上，实施各种访问控制策略来控制和规范用户在系统内的种种行为，进而有效地保护用户使用网络的安全。
4.2数据加密
在计算机设备使用过程中，无论在何种情况下，加密都是保护数据安全的重要手段之一。所谓的加密就是采用加密算法和加密密钥将明文的数据转变为密文，从而将信息数据隐蔽起来，再将加密后的信息数据传播出去，这样即使是加密后的信息数据在传输过程中被他人非法窃取或者是截获，窃取者在短时间内也无法掌握数据内容，通过这种方式有效地保护了数据存储及传输的安全性。在数据加密过程中，针对不同的数据采用的加密算法也不尽相同，其所实施的加密控制等级不通过，通过这种方式能够有效地杜绝信息泄露和和窃取事件的发生，由此可见数据加密工作开展的重要性。
4.3網络隔离
大数据环境下，网络隔离一般采用在数据存储系统上部设置防火墙作为主要的隔离手段。防火墙将网络分为内部网络和外部网络，内部网络一般是安全和可信赖的，而外部网络则在应用过程中存在有大量的威胁，在防火墙系统决定了哪些内部服务是能够被外界访问的，外界的哪些人可以访问内部的哪些服务，以及哪些外部服务可以被内部人员所访问，在大数据技术环境下，通过对内部网络和外部网络之间的数据流量进行分析、检测、管理和控制，能够有效地对内部网络进行保护，避免其因为被用户非法侵入，而在对数据的安全使用造成影响。防火墙技术是通过对网络的隔离和限制访问的等方法来控制网络访问权限的，其能够有效地保护网络安全。
4.4入侵检测
所谓的入侵检测技术就是通过对互联网络和主机系统中的关键信息进行实时的采集和分析，从而判断出非法用户入侵和合法用户滥用资源等行为，并结合实际情况做出最为适当反应的网络安全技术。入侵检测是一种主动的网络安全防御措施，其不仅能够通过监测网络实现对内部的攻击，外部攻击和误操作的实时保护，有效地弥补了防火墙的不足，而且还能够结合其他网络安全产品，对网络安全进行全方位的保护，在网络技术应用过程中，入侵检测具有主动性和实时性的特点，是防火墙重要和有益的补充。入侵检测有效地保证了网络设备的安全使用，提高了信息安全基础结构的完整性。
5结束语
总之，随着时代的不断发展和进步，网络技术在人们的日常生活中应用越来越广泛，其对人们的工作、生活和学习带来了较大的便利，但是在计算机网络技术应用过程中，其所引发的安全问题也越来越多，针对这些问题必须要做好网络安全平台建设工作，具体问题具体分析，保证用户网络使用安全，净化网络环境，发挥大数据技术的积极作用。
参考文献：
[1] 白硕，徐辉.大数据技术在网络安全分析中的应用[J].网络安全技术与应用，2018（06）
[2] 周馨.大数据时代教育数据价值挖掘[J].信息与电脑（理论版），2013（08）.
[3] 张传勇.基于大数据时代下的网络安全问题分析[J].网络安全技术与应用，2015（01）.
【通联编辑：光文玲】