时至今日,网络攻击频发,攻击过程越来越复杂、手段也变得越来越隐蔽,传统的入侵检测系统等网络安全产品往往难以奏效。同时,随着大数据技术的蓬勃发展,人们可以将机器学习等人工智能技术应用在各种网络安全场景中,利用大数据相关技术来保障网络空间安全成为一种趋势。在此过程中,首要任务是全面的收集网络数据。然而,随着云计算、物联网等新兴技术的迅猛发展,数以亿计的网络设备和网络应用所产生的多种类型的海量数据,给数据采集带来了巨大的困难和挑战。因此,本文主要针对网络安全大数据分析场景中的流量采集、数据传输与处理等方面进行研究。本文调研了与Intel DPDK、Apache Ni Fi以及边缘计算技术相关的概念、发展背景、技术特点、核心功能及架构等内容;针对流量采集过程中数据量大、数据类型复杂等问题,本文设计了高性能流量采集工具;针对数据稳定传输、系统节点监控与管理等问题,本文结合物联网领域的边缘计算方法,提出并实现了分布式云边协同数据采集方案,对整合资源、提高采集效率具有借鉴意义。本文所设计的高性能网络流量采集工具分为捕获器和解析器两部分,前者负责从网卡获取原始流量并转化为特定类型的二进制数据,后者负责将其解析为格式化的文本数据;该工具兼容常规和高速网络环境下的流量捕获,支持以插件的形式将多个不同的流量转化模块集成在一起工作,还支持三种不同的数据输出方式。本文所设计的基于Apache Ni Fi的数据采集系统为2-3层的树形结构,并在此基础上设计了数据采集与边缘计算框架。在三层结构中,设备层实现了对流量采集工具的集中配置与调用,实现了数据的获取、预处理与标记;边缘网关层实现了基于规则引擎的数据路由和边缘计算;云中心层实现了对流和批数据的不同处理,最终分别将流数据和批数据写入Kafka和HDFS中。以此完成了数据的采集与传输,以及与云端其他大数据系统的对接。此外,本文还实现了采集系统在云端的管理功能,即系统的云边协同功能。实现了节点状态日志信息采集、系统拓扑结构绘制以及远程控制的功能,其中远程控制主要包括节点流模板更新、边缘计算文件部署以及远程采集控制。在上述功能实现的过程中,本文对MiNiFi的部分源码进行分析和梳理,修改源码使得MiNiFi中可以使用Variables功能,并满足状态日志采集与拓扑结构绘制等功能对MiNiFi所生成的状态日志内容的需要。最后,本文结合系统应用实例,展示了采集系统中流量采集、数据传输、边缘计算、数据存储、云边协同等功能在实际应用程序中的流模板实现、使用情况和运行效果。并且,从功能和性能两个角度出发,对采集系统进行了相关的测试,测试结果表明,系统开发初期规划的基础功能目标已基本实现,但在性能方面仍有优化改进的空间。