论文部分内容阅读
摘 要：本文针对网络流量元数据背景下的信息安全问题，基于流量分析对大数据安全平台进行了设计，分析网络流量元数据分发平台，设计元数据管理模型;构建大数据服务平台，对大数据进行分析，识别活动数据，并检测网络攻击和异常流量。在实践中，可以使用元数据来实现标准化的数据操作，并满足合适的粒度数据服务的需求，从而实现大数据安全平台，并对其进行推广，实现信息安全共享。
关键词：数据安全;大数据;网络流量元数据
一、引言
在诸如大数据和物联网之类的IT技术不断发展的过程中，许多行业都沉迷于数据，其存储消耗大量资源。在受数据限制的未来发展中，数据总量不断增加，大数据时代已掀起一场空前的革命。大数据被广泛用于互联网和传统商业领域，并且可以执行诸如预测购物行为和挖掘客户等功能。2013年，美国的Prism事件引起了世界各国的关注。美国政府的机密信息是通过网络通信传递的，尽管美国政府表示，这种行为主要是为了确保国家网络的安全和采取反恐行动的需要，但是全世界的人们都迫切想要了解大数据技术中的网络流量元数据机密性漏洞。这样，每个国家逐步加强自己的信息安全保护体系。大型数据目录的管理是通过元数据开发数据服务来实现的，该技术解决了传统的数据存储和管理问题。这样，可以更好地共享和存储信息。
二、网络流量元数据的过滤平台
大数据是现代社会发展的核心技术，大数据的来源是高价值的，太小的大数据集无法充分反映网络数据分析的情况，这是不可能的。使用验证获得良好的反馈在专业分析的基础上，网络流量传输平台具有灵活性，可以在交换机端口级实现网络流量的仿真，并符合传输源监控系统的要求。网络数据，例如缓存加速器，病毒入侵检测系统和应用程序层监视系统，例如不同的业务系统进程。在网络流量仿真过程中，根据ACL访问控制列表实现简单的协议流量过滤过程，以加载流量传输平台业务系统。网络掉线这样，网络可以实现高负荷和低负荷链路流量的多次转换，从而可以多次均衡负荷，提高数据传输平台数据的整体处理能力。网络另外，利用开关堆叠技术来改善上述工作效果，可以扩大断裂的数量。
骨干节点路由器为传统的骨干网安全审计提供NeteFlow输出数据。监视系统识别全职历史数据和挖掘数据，检测网络流系统中的异常并查找问题。元数据的安全性是通过数据的统计效果来实现的，例如DDoS类型的泛洪攻击。这样，在存储和收集元数据之前，需要对给定端口和DNS进行大型网络扫描，并开放递归NTP来查询网络流量分发平台中流量放大攻击的不良事件，并与流数据源结合以及时接收警告。那就对了为了满足网络流量目标的需求，使用分布式网络体系结构来创建开源库和开源软件，从而可以实现元数据提取过程。通过高速网络传输数据时，元数据将被提取并存储在文件中。例如，来自“安全性分析”模型的HTTP类型元数据文件为实际用户生成网络流量元数据。
今天有大量的网络流量元数据可供使用。如果将所有网络流量都用作元数据，那么总共就有五种记录和计算网络流量的信息。每月的流量将超过数百亿个序列，从而收集元数据。安全的开采和储存受到一定压力。
三、大数据交流平台
几个不同的信息源就像孤岛，集中化和确保数据安全性是研究的重点。为了打破数据障碍并释放数据的价值，请使用元数据管理技术构建元数据管理平台，收集元数据并还原、更改和检索，实现数据提取、转换和加载。基于元数据共同驱动数据模型管理、质量管理和标准管理可实现电子数据目录的创建，从而创建统一的外部数据服务。
数据中心资源存储在集成的ETL过程中，例如企业管理系统和尽??职调查。在此过程中收集元数据，并检查元数据以实现目录生成。第三方应用程序可以使用元数据管理平台检索元数据和数据服务，以实现数据服务请求的创建和对数据的访问。应用程序使用自助服务和自动数据。获取数据可以打破数据障碍，并使数据服务器成为真正的大数据环境。它充分展示了信息的价值。
四、基于挖掘和关联的大数据分析
初始统计分析的目标是将混合的大数据转换为小数据，以用于以后的安全分析。在此分析阶段，重要的是尽快在IP上创建和创建黑名单。使用白名单机制，您可以在早期阶段优化网络流量，选择对安全分析没有意义的大量数据，以减少存储压力和以后的分析;使用黑名单机制，您可以专注于区域定位，跟踪更改和发展趋势进行更详细、更深入的安全审核。
对于严重的安全漏洞，大数据分析可以快速提供安全警告和大规模安全评估。近年来，一波漏洞。 ApacheStruts2它具有广泛的影响，在大学网络上有数十个使用此Java框架的应用程序信息系统。如何从数以千计的网站中快速找到Struts2开发框架的用法，在元数据中搜索某些URL特征字段，通过HIVE访问HTTP并使用shell脚本进行分析，您将在半小时内得到正确的响应。通过将Python脚本与一系列与POC相关的漏洞结合使用，您可以快速扫描这些网站并确定有多少受返回结果的影响。
对于许多使用网站进行DDoS的Web后门和DDoS特洛伊木马，触发元数据的某些字段中的特征也很明显，可以通过一组算法及时进行检索。挖掘通过相关性分析，我们可以找出哪些人以及何时插入了这些特洛伊木马，以及网站上可能存在哪些类型的漏洞导致被利用，并给出了答案。深入分析安全事件发生后，攻击者有意删除了主机上的许多入侵痕迹。但是网络流量元数据仍会记录当时发生的每个细节。成功的渗透必须伴随着大规模爬网行为，并且元数据数据集中显示了多次失败的扫描和攻击尝试。無论您走到哪里，都将留下不同类型的元数据的痕迹，从而提供直接，完整和准确的信息以跟踪所有安全事件的详细信息。尽管攻击者经常更改其IP地址，但这会增加跟踪的难度，只要他们的行为保持不变，就仍可以通过长期分析来发现它。即使事件修复后安全应急响应处于活动状态，它也会实时阻止所有攻击。但这也是非常有价值的，如果没有积累足够的元数据，用户可能仍然对以前的攻击一无所知，很难避免再次发生。 当今高度可持续的威胁攻击不只是不仅使用HTTP协议，而且使用SSL加密和其他类型的隐藏隧道进行通信。尽管高校以强大的进攻资源和不对称的防御能力面对APT攻击的能力有限。但是，基于存储在IP流中的长期元数据和一些核心应用程序层协议的深入分析，在最初的攻击中没有遗漏任何线索。发现成为可能，协调资源以减少损失并跟踪和恢复攻击历史，处理APT是当前业界的共识。
五、基于大数据的网络流量元数据分析
数据分析使用大数据分析和数据挖掘技术从根本上聚合收集的流数据，并与专家知识库集成以创建针对目标问题的分析模型。
（一）活跃数据判断
资产数据是风险管理过程的基础。管理者提供的资产列表目前还不是最及时，最准确的，需要流量来识别网络中的活动资产并使其成为管理资产的一种手段。性能分析五个部分，确定哪些设备打开了高风险的远程桌面端口和端口80，并将它们与管理器的资产列表结合在一起，以了解哪些设备是新添加到网络中的，哪些是原本有的用于监视和识别未来风险。
（二）攻击检测
网络攻击是通过在攻击过程中隐藏的网络漏洞和安全漏洞对网络数据的攻击。传统的网络攻击检测工具在网络攻击复杂度不断提高的过程中，使用改进的特征库来识别网络攻击，传统的网络攻击检测工具无法满足攻击者的需求。有使用大数据流量分析和识别攻击，以提高对新型网络攻击的检测能力;使用聚类分析，从检测模型分类中检测异常。异常情况下，相对较高的特征限制能力是有监督的机器学习过程，而监管信息是抽象的特征维度。分类通过其指导作用来控制数据，并在攻击过程中起重要作用。
随机森林算法是一种经典的分类方案，它是基于大数据环境的优秀分类器，该算法本身评估变量在分类过程中的重要性。该算法没有太多的数据相关性，它避免了过多的问题并为不平衡的采样点平衡了误差。因此，根据分类，使用随机森林算法进行异常检测。生成具有多个决策树的随机森林。森林中的所有决策树都做出决策后，随机森林算法会对所有决策结果进行计数和求和，以得出最终决策。
（三）流量异常监测
由于网络流量几乎相同，因此随着时间的推移它将遵循该功能。即使网络流量随时间增加，曲线仍是自相似的，有关流量的长期统计数据也可以显示自相似。在正常情况下，使用理想的网络流量描述曲线描述，可以使用统计方法对大型网络流量进行数学建模。在任何时候都可以使用流量曲线与正常流量曲线进行比较，以分析流量是否异常，当异常流量达到指定标准时，将成为异常模式。
六、结语
在数据时代的背景下，基于网络流量元数据分析安全大数据是一个非常重要的主题，如何合理地使用大数据分析平台来提高分析的质量和效率。数据是相关技术人员的关注重点，对于确保重要数据的安全性至关重要。如何使用大型数据平台自动检测漏洞并分析不同类型数据的相关性需要进行分析。深入本文的研究表明，使用有针对性的策略可以维护网络空间的公正性和公平性，减少手动分析干预的水平，并实现可视化。
参考文献：
[1]刘皓天，陈枫，吴振勇，等.基于DTU的充电桩电气安全大数据管控平台研究[J].微处理机，2020（4）：53-56.
[2]汪伟忠，张国宝.基于Fuzzy-ISM的生产安全大数据共享行为模型构建[J].情报杂志，2018（9）：167-172，147.
[3]江欣国.关于中国道路交通安全大数据发展与应用的若干建議[J].中国发展，2018（1）：88-89.
[4]张丁.试析基于网络流量元数据的安全大数据分析[J].数字通信世界，2016（11）：263-264.
武汉商贸职业学院 侯 璇 刘庆庆
关键词：数据安全;大数据;网络流量元数据
一、引言
在诸如大数据和物联网之类的IT技术不断发展的过程中，许多行业都沉迷于数据，其存储消耗大量资源。在受数据限制的未来发展中，数据总量不断增加，大数据时代已掀起一场空前的革命。大数据被广泛用于互联网和传统商业领域，并且可以执行诸如预测购物行为和挖掘客户等功能。2013年，美国的Prism事件引起了世界各国的关注。美国政府的机密信息是通过网络通信传递的，尽管美国政府表示，这种行为主要是为了确保国家网络的安全和采取反恐行动的需要，但是全世界的人们都迫切想要了解大数据技术中的网络流量元数据机密性漏洞。这样，每个国家逐步加强自己的信息安全保护体系。大型数据目录的管理是通过元数据开发数据服务来实现的，该技术解决了传统的数据存储和管理问题。这样，可以更好地共享和存储信息。
二、网络流量元数据的过滤平台
大数据是现代社会发展的核心技术，大数据的来源是高价值的，太小的大数据集无法充分反映网络数据分析的情况，这是不可能的。使用验证获得良好的反馈在专业分析的基础上，网络流量传输平台具有灵活性，可以在交换机端口级实现网络流量的仿真，并符合传输源监控系统的要求。网络数据，例如缓存加速器，病毒入侵检测系统和应用程序层监视系统，例如不同的业务系统进程。在网络流量仿真过程中，根据ACL访问控制列表实现简单的协议流量过滤过程，以加载流量传输平台业务系统。网络掉线这样，网络可以实现高负荷和低负荷链路流量的多次转换，从而可以多次均衡负荷，提高数据传输平台数据的整体处理能力。网络另外，利用开关堆叠技术来改善上述工作效果，可以扩大断裂的数量。
骨干节点路由器为传统的骨干网安全审计提供NeteFlow输出数据。监视系统识别全职历史数据和挖掘数据，检测网络流系统中的异常并查找问题。元数据的安全性是通过数据的统计效果来实现的，例如DDoS类型的泛洪攻击。这样，在存储和收集元数据之前，需要对给定端口和DNS进行大型网络扫描，并开放递归NTP来查询网络流量分发平台中流量放大攻击的不良事件，并与流数据源结合以及时接收警告。那就对了为了满足网络流量目标的需求，使用分布式网络体系结构来创建开源库和开源软件，从而可以实现元数据提取过程。通过高速网络传输数据时，元数据将被提取并存储在文件中。例如，来自“安全性分析”模型的HTTP类型元数据文件为实际用户生成网络流量元数据。
今天有大量的网络流量元数据可供使用。如果将所有网络流量都用作元数据，那么总共就有五种记录和计算网络流量的信息。每月的流量将超过数百亿个序列，从而收集元数据。安全的开采和储存受到一定压力。
三、大数据交流平台
几个不同的信息源就像孤岛，集中化和确保数据安全性是研究的重点。为了打破数据障碍并释放数据的价值，请使用元数据管理技术构建元数据管理平台，收集元数据并还原、更改和检索，实现数据提取、转换和加载。基于元数据共同驱动数据模型管理、质量管理和标准管理可实现电子数据目录的创建，从而创建统一的外部数据服务。
数据中心资源存储在集成的ETL过程中，例如企业管理系统和尽??职调查。在此过程中收集元数据，并检查元数据以实现目录生成。第三方应用程序可以使用元数据管理平台检索元数据和数据服务，以实现数据服务请求的创建和对数据的访问。应用程序使用自助服务和自动数据。获取数据可以打破数据障碍，并使数据服务器成为真正的大数据环境。它充分展示了信息的价值。
四、基于挖掘和关联的大数据分析
初始统计分析的目标是将混合的大数据转换为小数据，以用于以后的安全分析。在此分析阶段，重要的是尽快在IP上创建和创建黑名单。使用白名单机制，您可以在早期阶段优化网络流量，选择对安全分析没有意义的大量数据，以减少存储压力和以后的分析;使用黑名单机制，您可以专注于区域定位，跟踪更改和发展趋势进行更详细、更深入的安全审核。
对于严重的安全漏洞，大数据分析可以快速提供安全警告和大规模安全评估。近年来，一波漏洞。 ApacheStruts2它具有广泛的影响，在大学网络上有数十个使用此Java框架的应用程序信息系统。如何从数以千计的网站中快速找到Struts2开发框架的用法，在元数据中搜索某些URL特征字段，通过HIVE访问HTTP并使用shell脚本进行分析，您将在半小时内得到正确的响应。通过将Python脚本与一系列与POC相关的漏洞结合使用，您可以快速扫描这些网站并确定有多少受返回结果的影响。
对于许多使用网站进行DDoS的Web后门和DDoS特洛伊木马，触发元数据的某些字段中的特征也很明显，可以通过一组算法及时进行检索。挖掘通过相关性分析，我们可以找出哪些人以及何时插入了这些特洛伊木马，以及网站上可能存在哪些类型的漏洞导致被利用，并给出了答案。深入分析安全事件发生后，攻击者有意删除了主机上的许多入侵痕迹。但是网络流量元数据仍会记录当时发生的每个细节。成功的渗透必须伴随着大规模爬网行为，并且元数据数据集中显示了多次失败的扫描和攻击尝试。無论您走到哪里，都将留下不同类型的元数据的痕迹，从而提供直接，完整和准确的信息以跟踪所有安全事件的详细信息。尽管攻击者经常更改其IP地址，但这会增加跟踪的难度，只要他们的行为保持不变，就仍可以通过长期分析来发现它。即使事件修复后安全应急响应处于活动状态，它也会实时阻止所有攻击。但这也是非常有价值的，如果没有积累足够的元数据，用户可能仍然对以前的攻击一无所知，很难避免再次发生。 当今高度可持续的威胁攻击不只是不仅使用HTTP协议，而且使用SSL加密和其他类型的隐藏隧道进行通信。尽管高校以强大的进攻资源和不对称的防御能力面对APT攻击的能力有限。但是，基于存储在IP流中的长期元数据和一些核心应用程序层协议的深入分析，在最初的攻击中没有遗漏任何线索。发现成为可能，协调资源以减少损失并跟踪和恢复攻击历史，处理APT是当前业界的共识。
五、基于大数据的网络流量元数据分析
数据分析使用大数据分析和数据挖掘技术从根本上聚合收集的流数据，并与专家知识库集成以创建针对目标问题的分析模型。
（一）活跃数据判断
资产数据是风险管理过程的基础。管理者提供的资产列表目前还不是最及时，最准确的，需要流量来识别网络中的活动资产并使其成为管理资产的一种手段。性能分析五个部分，确定哪些设备打开了高风险的远程桌面端口和端口80，并将它们与管理器的资产列表结合在一起，以了解哪些设备是新添加到网络中的，哪些是原本有的用于监视和识别未来风险。
（二）攻击检测
网络攻击是通过在攻击过程中隐藏的网络漏洞和安全漏洞对网络数据的攻击。传统的网络攻击检测工具在网络攻击复杂度不断提高的过程中，使用改进的特征库来识别网络攻击，传统的网络攻击检测工具无法满足攻击者的需求。有使用大数据流量分析和识别攻击，以提高对新型网络攻击的检测能力;使用聚类分析，从检测模型分类中检测异常。异常情况下，相对较高的特征限制能力是有监督的机器学习过程，而监管信息是抽象的特征维度。分类通过其指导作用来控制数据，并在攻击过程中起重要作用。
随机森林算法是一种经典的分类方案，它是基于大数据环境的优秀分类器，该算法本身评估变量在分类过程中的重要性。该算法没有太多的数据相关性，它避免了过多的问题并为不平衡的采样点平衡了误差。因此，根据分类，使用随机森林算法进行异常检测。生成具有多个决策树的随机森林。森林中的所有决策树都做出决策后，随机森林算法会对所有决策结果进行计数和求和，以得出最终决策。
（三）流量异常监测
由于网络流量几乎相同，因此随着时间的推移它将遵循该功能。即使网络流量随时间增加，曲线仍是自相似的，有关流量的长期统计数据也可以显示自相似。在正常情况下，使用理想的网络流量描述曲线描述，可以使用统计方法对大型网络流量进行数学建模。在任何时候都可以使用流量曲线与正常流量曲线进行比较，以分析流量是否异常，当异常流量达到指定标准时，将成为异常模式。
六、结语
在数据时代的背景下，基于网络流量元数据分析安全大数据是一个非常重要的主题，如何合理地使用大数据分析平台来提高分析的质量和效率。数据是相关技术人员的关注重点，对于确保重要数据的安全性至关重要。如何使用大型数据平台自动检测漏洞并分析不同类型数据的相关性需要进行分析。深入本文的研究表明，使用有针对性的策略可以维护网络空间的公正性和公平性，减少手动分析干预的水平，并实现可视化。
参考文献：
[1]刘皓天，陈枫，吴振勇，等.基于DTU的充电桩电气安全大数据管控平台研究[J].微处理机，2020（4）：53-56.
[2]汪伟忠，张国宝.基于Fuzzy-ISM的生产安全大数据共享行为模型构建[J].情报杂志，2018（9）：167-172，147.
[3]江欣国.关于中国道路交通安全大数据发展与应用的若干建議[J].中国发展，2018（1）：88-89.
[4]张丁.试析基于网络流量元数据的安全大数据分析[J].数字通信世界，2016（11）：263-264.
武汉商贸职业学院 侯 璇 刘庆庆